Kettle 培训技术文档 Etl 介绍 ETL(Ex tract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于 金融IT 来说,经常会遇到大数据量的处理,转换,迁移,所以了解并掌握一种 etl工具的使用,必不可少。 Kettle是一款国外开源的etl工具,纯jav a编写,绿色无需安装,数据抽取高 效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针 对数据的基础转换,job则完成整个工作流的控制。 kettle 部署运行 将kettle2.5.1文件夹拷贝到本地路径,例如D 盘根目录。 双击运行kettle文件夹下的spoon.bat文件,出现kettle欢迎界面: 稍等几秒 选择没有资源库,打开kettle主界面 创建transformation,job 点击页面左上角的创建一个新的transformation,点击保存到本地路 径,例如保存到D:/etltest下,保存文件名为EtltestTrans,kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的创建一个新的job,点击保存到本地路径,例如保 存到D:/etltest下,保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb 创建数据库连接 在transformation页面下,点击左边的【Main Tree】,双击【DB连接】,进行 数据库连接配置。 connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置: 点击【test】,如果出现如下提示则说明配置成功 点击关闭,再点击确定保存数据库连接。 一个简单的ktr 例子 目的: 将一个数据库导入到另一个数据库中。 操作步骤: 创建一个transformation,命名为etlTestTrans.ktr,创建数据库连接 ods,点击【Inpu t】,选中【表输入】,拖到主窗口,释放鼠标,双击打 开 如下图 点击【Transform】,选中【字段选择】,拖到主窗口,释放鼠标 点击【Ou tpu t】,选中【表输出】,拖到主窗口,释放鼠标 建立【文本文件输入】和【字段选择】与【字段选择】和【表输出】的连接 双击【表输出】,目标表中写入ZT_TEST_KETTLE,,确定保存 双击【字段选择】,点击 获取选择的字段,再点击Edlt Mapping,点击OK 确定,编辑所有字段对应关系,点确定。 点击运行这个转换。,则将上一个ktr中生成的文本,导入到数据库当中。 一个简单的 k...