服务器上定时执行kettle作业任务
此时我们在kettle上已经完成了作业流程,并确保作业流程的执行没有问题。下面我们就要将数据抽取作业部署到服务器任务计划程序库中定时执行(以下是在windows环境下的执行方式)。
第一步:通过bat批处理文件执行数据抽取作业(即kjb文件)
建立一个bat文件,里面写入:
@echo off
set d=%date:~0,4%%date:~5,2%%date:~8,2%
set name=日志名称_%d%.log
D:
cd D:/ETL/data-integration
kitchen.bat /norep -file=D:/ETL/kettledata/作业/作业名称.kjb /logfile=D:/ETL/kettledata/日志/%name%exit
其中 : set d=%date:~0,4%%date:~5,2%%date:~8,2% 在cmd中获取当前系统时间,格式为20180627
set name=ydys_病案首页_%d%.log 拼接文件名称
cd D:/ETL/data-integration 跳转到你电脑上kettle的安装路径下
kitchen.bat /norep -file=D:/ETL/kettledata/作业/作业名称.kjb 调用kitchen.bat并执行指定的数据抽取作业
/logfile=D:/ETL/kettledata/日志/%name% 输出日志的路径及文件名称,最后退出
第二步:由于在执行bat批处理文件时服务器会弹出一个cmd.exe窗口,黑乎乎的不好看,本人也有强迫症,所以将bat批处理文件转换为vbs文件再执行时,就可以解决cmd.exe窗口的弹出问题。
创建一个vbs文件,里面输入:
Set ws = CreateObject("Wscript.Shell")
ws.run "cmd /c D:\上一步bat文件及路径.BAT" ,vbhide
然后将该vbs文件部署到服务器任务计划程序库中执行就好了。
至于如何部署这里就不详细说了。
顺便再说一下如何删除一月之前的日志,若日志的文件名不含时间,则不能使用该方法。
按照上面第一步输出的日志入下图所示:
我们如何删除呢,同样的创建一个bat文件,里面输入:
@echo off
set y=%date:~0,4%
set m=%date:~5,2%
set d=%date:~8,2%
set /a m-=1
if %m% LSS 11 set m=0%m%
if %m%==00 set m=12&set /a y-=1
set datestr=%y%%m%%d%
setlocal EnableDelayedExpansion
for %%i in (D:\ETL\kettledata\日志\*.log) do (
set var1=%%i
set var2=!var1:~-12,8!
if !var2! lss %datestr% (del D:\ETL\kettledata\日志\*!var2!.log)
)
endlocal
exit 0
其中,D:\ETL\kettledata\日志\ 是在服务器上日志的存放路径
set /a m-=1 将获取到的系统月数减1,即删除一月之前的数据
这样我们就可以将距系统时间一月之前的日志进行删除。