上海腾科教育达梦数据库培训干货分享DMETL集群的配置方法

在实际工作中，为了提高数据装载的效率，我们可以采用集群的方式来运行DMETL。这里我们演示DMETL使用一主多从的形式，配置主节点（172.10.10.203）和从节点（172.10.10.204），过程如下：

 

1.在所需配置的服务器上分别安装企业版的ETL，需注意，所有集群ETL需要共用一套元数据。可以在ETL配置文件中设置，如下图，所有节点元数据配置一致，本例选择单独的外置DM7数据库：

 

 

 

2.DMETL.ini中必须需要修改的参数，主节点从节点一致：

 

参数	说明
SERVER_TYPE	服务器节点类型， 1 为独立服务器；2 为主节点服务器； 3 为从节点服务器 主节点选2，从节点选3
MASTER_ADDRESS	需要修改为实际的主节点ip地址
MASTER_PORT	主节点端口号
MASTER_HEARTBEAT_ADDRESS	需要修改为实际的主节点ip地址
ENABLE_MULTICAST	此参数修改为1

 

3.启动服务，将从节点加入到集群中

开启ETL服务，通过ETL管理器连接到主节点，菜单栏中选择集群管理：

 

 

然后选择添加从节点，如下图，服务器ID可以直接获取：

 

 

添加成功后如下图：

 

 

4.转换中的集群配置：

在数据装载目的段选择集群配置，可以选择自动根据负载因子分配。也可以自定义，比如选择所有的节点：

 

 

如图可见，装载时两节点并行，并且实际速度比单节点会有明显提升。不过只对表装载起作用，对文件装载只能是单节点。

 

需要注意一点，所需要的其他配置文件或者数据源文件，如果选择集群自动方式时，需要保证每个服务器上都实际存在相关的文件。