Kettle操作手册-Kettle常用输入步骤
常用输入步骤
属于ETL中的E，导入数据。
csv文件输入
csv文件是一种有固定格式的文本文件。
具体用法在第一个例子中已经详解，不再赘述。
Excel文件输入
Excel有两种后缀名: .xls和.xlsx。
输入不同的后缀名文件需要选择不同的引擎。
同时也可以选择同一目录下的所有文件。
选择目录，然后通配符号通配文件，也可以选择是否读取当前目录下子目录的文件。
Get data from XML
XML是可扩展标记语言，主要用来传输与存储数据。
读取xml文件的话，就需要使用xpath，xpath即XML路径语言，他是一种用来确定XML文档中某部分位置的语言。
xpath基于XML的树状结构，提供在数据结构树中找寻节点的能力。
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点。 |
| / | 从根节点选取。 |
| // | 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 |
| . | 选取当前节点。 |
| … | 选取当前节点的父节点。 |
| @ | 选取属性。 |
| div | 选取div元素的所有子节点 |
| /div | 选取根元素div |
| div/p | 选取div元素下的子元素p |
| //div | 选取所有的div元素 |
| div//p | 选取div元素下的所有p元素 |
| //@lang | 选取名为lang的所有属性 |
JSON input
一种轻量型的数据交换格式。
JSON核心概念：数组([]中的数据)，对象({}中的数据)，属性(k:v的数据)
JsonPath的操作符
| 符号 | 描述 |
|---|---|
| $ | 查询的根节点对象，用于表示一个json数据，可以是数组或对象 |
| @ | 过滤器断言(filter predicate)处理的当前节点对象，类似于java的this字段 |
| * | 通配符，可以表示一个名字或数字 |
| … | 上一级 |
| . | 一个子节点 |
| [’’,’’,…] | 多个子节点 |
| [’’,’’,…] | 多个数组下标 |
| [start:end] | 数组片段 |
| [?()] | 过滤器表达式，结果为布尔型 |
json的输入前需要提前分析好json格式，然后可以进行多重输入保证最后的输出。
文本文件输入
提取日志信息的数据是开发常见的操作，日志信息基本都是文本类型。
生成记录
数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。
这样就可以生成1000条固定的静态信息。
表输入
要是想要操控数据库，就得先下载数据库驱动，然后放置在…\pdi解压目录 \data-integration\lib下。
自定义常量数据
在转换中有可能我们需要录入数据，这就需要自定义常量输入