ETL4的两种文件同步方法

结构化的数据包括数据库库表、视图、sql查询等得到的数据,xml、txt等结构化的文本数据也是结构化数据。

这一类数据我们可以通过DMETL把数据通过字段映射、流程转换装载导结构化库表、文件等载体中。

对于非结构化数据(比如文件夹、图片JPG、DOC)或者文件数据(xml、txt等),DMETL可以通过以下两种方式进行同步、传输的。

  1. 有FTP服务器并开放FTP端口的情况下可以直接使用DMETL作业中的远程同步组件实现。
ETL4的两种文件同步方法
配置FTP服务器地址、登录、目录等信息
ETL4的两种文件同步方法
 

2. 对于Linux平台的,还可以使用rsync命令来实现非机构化数据的文件同步,配合作业组件的OS命令组件使用,例:

ETL4的两种文件同步方法

这种方法的核心是调用了linux的文件同步命令,但是配合DMETL4的调度功能就可以实现定时同步的功能。