Kettle处理文件导入到数据库，对数据进行相应校验，将校验结果发送邮件

工作中有这样的需求 
1. 数据规范化： 
去空格、制表符、换行符、回车符、单引号（中文、英文）、双引号（中文、英文） 
根据邮箱生成登录名，登录名为@之前的内容 
2. 数据校验 
根据集团提供的名单，按照以下几个点校验： 
 空值：分为姓名、身份证、手机、邮箱 
 重复：身份证、手机号、登录名、邮箱 
 合法性校验：手机号11位数字；身份证合法性校验 
 与系统数据校验： 
 手机号已使用、系统中的身份证为空或者数值与excel中的数值不一致； 
 登录名已使用、系统中的身份证为空或者数值与excel中的数值不一致； 
完成数据规范化，并将校验通过的数据导入到数据库，将错误的数据导出自动发送邮件。 
（1）首先对数据进行规范化，处理的excel第一列id有为空，根据约定，id为空不处理所以增加了过滤记录的操作 
流程如下： 
 
（2） 
根据写好的SQL完成数据的校验 
（SQL的结果集 通过流的 方式 输出到excel里） 
流程如下：

 
（3） 
总调度实现数据导入、校验、错误发送邮件、正确数据保存在数据库 
流程如下： 

原文：https://blog.****.net/angelina7/article/details/53944473