首页 -> 数据分析

Kettle学习笔记-2019年8月3日

流星雨 2019-08-03建立 •  296   
学习Kettle 8.2

课时7:
并行,每个步骤都是独立线程并发方式执行的,转换启动后所有步骤都同时启动,从输入读数据,然后写入输出。如果想按顺序执行,就要使用“作业”。
课时8:
了解CSV的格式,用Excel打开和用文本方式打开,它的根本其实是个文本文件,了解列分隔符、封闭符。
了解如果目标文件例如Excel文件打开时无法写入的错误。
课时9:
课时10:
Excel的两种格式 xls 和xlsx(2007以后版本)。
Excel输入的时候注意多个表页都有数据的情况。
课时11(多文件合并):
例如要把多个相同格式的电话单合并为一个文件数据进行后续处理时使用。
学习复制其它转换内的步骤到当前步骤。
学习选择的文件中通配符的使用,使系统可以读取多个文件。
课时12:
读取XML,暂时用处不大,以后再学。
课时13:
读取JSON,暂时用处不大,以后再学。
课时14:
学习步骤 “生成记录”,例如数字序列、日期序列,或者需要一个固定的数据给下一个步骤时使用这个步骤。
课时15:
表输入,怎么连接Mysql数据。
要注意之前要复制该数据库的驱动包(扩展名是jar的)到Lib目录下,保存后要重启Spoon。例如Oracle。
使用SQL的时候建议通过“获取SQL查询语句“按钮使用字段名进行查询。
课时16:
Excel输出,Excel的两种格式 xls 和xlsx(2007以后版本),“Microsoft Excel输出”可以兼容两种格式。
学习一个步骤的数据流向两个去向,通过复制的方式。
课时17:
学习对数据库连接的共享,这样不用每次新建同样的连接。
课时18:
SQL文件输出,可以导出创建表的结构和数据,方便把数据导入到其它数据库。
课时19:
表输出,学习在 左边栏 主对象库 中新建一个连接,然后再使用这个连接。
课时20:
插入更新,
课时21:
”自定义常量数据“的学习
课时22:
删除,
课时23:
Concat fields,用来连接多个字段到一个字段。
课时24:
值映射,有些银行流水的借贷方向可能不是 ”借、贷“ 两个字,可以用这种方式转换。
课时25:
增加常量,
课时26:
增加序列,可以使用Oracle的序列来生成,方便所有表统一序列,防止不同渠道输入的ID重复。
课时27:
字段选择,
课时28:
计算器,不但包括一些数字的计算,还有一些字符串的处理,例如大小写、提取日期
课时29:
字符串剪切、操作、替换
课时30:
去除重复记录、排序

中间先跳过

课时50:
分组,类似Excel的透视图功能呢。
分组统计前一定要排序,按什么分组就要按什么排序。
课时51:
映射,可以通过建立一个子转换,类似把一个复杂的转换包装成一个图标的转换即映射来重复使用。
课时52:
赋值时的兼容和不兼容模式。
课时53:
java代码,
课时54:
执行SQL脚本,

kettle 

回复

登录发表 or 还没有账号?去注册