ETL4的两种文件同步方法
结构化的数据包括数据库库表、视图、sql查询等得到的数据,xml、txt等结构化的文本数据也是结构化数据。
这一类数据我们可以通过DMETL把数据通过字段映射、流程转换装载导结构化库表、文件等载体中。
对于非结构化数据(比如文件夹、图片JPG、DOC)或者文件数据(xml、txt等),DMETL可以通过以下两种方式进行同步、传输的。
- 有FTP服务器并开放FTP端口的情况下可以直接使用DMETL作业中的远程同步组件实现。
配置FTP服务器地址、登录、目录等信息
2. 对于Linux平台的,还可以使用rsync命令来实现非机构化数据的文件同步,配合作业组件的OS命令组件使用,例:
这种方法的核心是调用了linux的文件同步命令,但是配合DMETL4的调度功能就可以实现定时同步的功能。