Kettle安装及基本介绍（开山篇：用前必看）
一、何为ETL？
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
1. 抽取(Extract)
将数据从各种原始的业务系统中读取出来，以便为随后的步骤提供数据。
2. 转换(Transform)
任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下面一些操作：
(1) 数据清洗（过滤不完整的数据、错误的数据、重复的数据）
(2) 根据规则验证数据
(3) 根据处理后的数据计算派生值和聚集值
3. 加载(Load)
将数据加载到目标系统的所有操作。
二、kettle简单介绍
kettle 是纯 java 开发，开源的 ETL工具，用于不同数据源之间的数据迁移 。可以在Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。
kettle 官网：https://community.hitachivantara.com/docs/DOC-1009855
github 地址：https://github.com/pentaho/pentaho-kettle
三、下载、安装
此处以 windows 下的配置为例，linux 下配置类似。
1. 下载 kettle
从官网下载 kettle ，解压到本地即可（亲测不翻墙的话下载速度时快时慢，所以建议大家在下载的时候尽量翻墙）。
直接访问上面官网地址，下拉找到下载链接，就可进行下载。
如果不想翻墙 可以使用 mirrorservice 的镜像服务, 下面是 kettle 下载路径，本人就是采用这种方式下载，下载版本是pdi-ce-8.2.0.0-342.zip
http://sourceforge.mirrorservice.org/p/pe/pentaho/
2. jdk 安装及配置环境变量
由于 kettle 是基于 java 的，因此需要安装 java 环境，并配置 JAVA_HOME 环境变量。建议安装 JDK1.8 及以上，7.0以后版本的 kettle 不支持低版本 JDK。
3. 下载相应的数据库驱动
由于 kettle 需要连接数据库，因此需要下载对应的数据库驱动。
例如 MySQL 数据库需要下载 mysql-connector-java.jar，oracle 数据库需要下载ojdbc.jar。下载完成后，将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。
注意：本文基于 pdi-ce-8.2.0.0-342 版本进行介绍，低版本可能有区别。
四、基本用法
1. Kettle 子程序的功能和启动方式
打开kettle安装路径：\data-integration\
|
Spoon.bat: 图形界面方式启动作业和转换设计器。 Pan.bat: 命令行方式执行转换。 Kitchen.bat: 命令行方式执行作业。 Carte.bat: 启动web服务，用于 Kettle 的远程运行或集群运行。 Encr.bat: 密码加密 |
2. 转换和作业概念介绍
Kettle 的 Spoon 设计器用来设计转换（Transformation）和 作业（Job）。转换主要是针对数据的各种处理，一个转换里可以包含多个步骤（Step）。作业是比转换更高一级的处理流程，一个作业里包括一个或者多个作业项（Job Entry），一个作业项代表了一项工作，转换也是一个作业项。
3. 操作界面如下
4. 输入步骤简介
输入类步骤用来从外部获取数据，可以获取数据的数据源包括：文件类（txt，csv，xml，json，excel）、数据库、 非关系型数据库、服务、自定义的数据等。
输入内容部分截图如下：
5. 转换步骤简介
转换类步骤是对数据进行各种形式转换所用到的步骤。
例子：
- 字段选择 (选择需要的字段，剔除不需要的字段)
- 计算器(对数值字段进行计算)
- 增加常量
6. 输出步骤简介
输出步骤是输出数据的步骤，常见的输出包括文件类输出、表输出等，也可以根据应用的需求开发插件以其他形式输出。
7. 保存
用户通过 Spoon 创建的转换、作业、数据库连接等可以保存在资源库和 XML 文件中。转换文件以 ktr 为扩展名，作业文件以 kjb 为扩展名
五、总结
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
至此介绍结束，如果大家还想深入学习，可以扫描下图关注本人公众号，本人将在上面分享更多关于kettle的学习资料。