600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据 达到增量

kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据 达到增量

时间:2022-04-18 02:41:37

相关推荐

kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据 达到增量

注意:1)、由于是将上一步查询的值插入到下一步?的地方,所以一定要注意。

将带有?的步骤,替换SQL语句里面的变量,进行勾选。

从步骤插入数据,进行选择上一步的名称。2)、步骤名称,自己起自己的名字。

数据库连接,自己新建和编辑。

目标模式,如果是Greenplum或者postgresql要输入自己的模式。

目标表就是自己的数据表。

提交记录数量,一般1000或者2000。下面主选项使用批量插入进行勾选。

数据库字段,自己获取字段和映射,

更新,用来查询的关键字和更新字段。自行配置。

Switch/Case,Switch字段和Case值数据类型和Case值。

自己根据自己的字段和类型进行填写。

change步骤:

第一步。在数据源的库表里面查询出这批数据的最大时间或者最大的批次号。

第二步。然后在自己的数据表里面获取到开始时间或者最小的批次号

(此数据表自己初始化好起始时间start_time或者最小批次号和查询条件,比如第几步和那一张表)。

将第一步获取到的最大时间或者最大的批次号传递到第二步。

第三步。更新自己的初始化好的数据表,将自己初始化好的数据表的最大时间或者最大批次号字段修改。

同时进行表输入进行查询出数据。然后将这一步查询的数据传递到Switch/Case。

第四步。Switch/Case。将上一步的数据根据Switch/Case。进行传递。

第五步。进行各种数据表的输出。

第一步:1)、select '数据表名称' as table_name, 第几步 as part, COALESCE(max(update_time), now()) as next_time from数据表名称2)、postgresql,COALESCE()函数

主流数据库系统都支持COALESCE()函数,这个函数主要用来进行空值处理,其参数格

式如下: COALESCE ( expression,value1,value2……,valuen) 。

COALESCE()函数的第一个参数expression为待检测的表达式,而其后的参数个数不定。

COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果

expression不为空值则返回expression;否则判断value1是否是空值,如果value1不为空值则返

回value1;否则判断value2是否是空值,如果value2不为空值则返回value3;……以此类推,

如果所有的表达式都为空值,则返回NULL。3)、MySQL,IFNULL函数是MySQL控制流函数之一,它接受两个参数,如果不是NULL,则返回第一个参数。

否则,IFNULL函数返回第二个参数。IFNULL(expression_1,expression_2);

第二步:1)、select ? as table_name, ? as part, start_time, ? as next_time from 数据表名称 where table_name='数据表名称' and part=第几步2)、将第一步的三个参数,传递到第二步的三个问好的地方。

第三步:查询出每个case所需要的值的数据。同时修改next_time最大时间或者最大批次号。select *, CASE WHEN "字段"='标识位' THEN (select to_char(to_number(COALESCE(max("Cd_batch"), to_char(now(), 'yyyyMMdd')||'00000'), '9999999999999') + 1, '9999999999999')from core_data.dn_data_reconciliation where "TableName"='数据表名称' and "字段"='标识位') END AS "Cd_batch", 'I' as "Cd_operation"

from 数据表名称 where '数据表名称'=? and 第几步=? and update_time>? and update_time<=?

kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据 达到增量的效果。...

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。