在作业流程中循环加载数据

 

利用CDATA的驱动从SAP中抽取数据时,数据量太大时一次导出所有数据可能会报缓存溢出的错误,这时需要将作业设计成按月循环抽取的方式:

在作业流程中循环加载数据

步骤:

1、初始化日期变量,设为开始抽取这一天前一个月的值

比如需要从2014-01-01开始抽取,则将其设为:2013-12-01

在作业流程中循环加载数据

2、日期变量重新赋值,取LASTMONTH下一个月的日期

在作业流程中循环加载数据

3、判断月份变量值是否超过最大值限制,假设最多只抽取到2014-12-31的数据,如果超出,则作业运行中断。

在作业流程中循环加载数据

4、抽取LASTMONTH这个月的数据

在作业流程中循环加载数据

5、循环赋值并取数,直到超出最大值为止