首页 -> 数据分析

Kettle学习:理解Kettle中转换(transformation)中的步骤是以并发方式执行

流星雨 2019-08-11建立 •  304   
当Kettle启动一个转换后,所有步骤都是以并发的方式执行的,即所有步骤这时都已经启动了,并不是按照流程箭头执行的,每个步骤都在向上一级读取数据,然后把自己处理后的数据写到缓冲里等别人读取。转换执行中,数据才是按照流程箭头方向流动的。
如果需要某些步骤按指定顺序执行,例如要把所有数据导入到数据库中再执行一条SQL语句,以完成数据最后的清理,这可能就需要“作业”了。

如果需要再所有步骤都完了,再执行一条SQL语句,可以使用下面转换2的方法,引入一个阻塞的步骤。


在理解转换中所有步骤都是并发的在不同的线程里运行的这个概念,可以学习一下以下这个功能。注意看 JavaScript代码 步骤左上角的 4 ,这样设置后,在启动转换后会有4个线程开始执行JavaScript,在一般现在电脑都是多核的情况下,同时四个人干活是能够提高速度的。


试着用LICEcap做个Gif图:

kettle 

回复

登录发表 or 还没有账号?去注册