气流1分钟后杀死我的任务
问题描述:
我有一个非常简单的DAG有两个任务,如下列:气流1分钟后杀死我的任务
default_args = {
'owner': 'me',
'start_date': dt.datetime.today(),
'retries': 0,
'retry_delay': dt.timedelta(minutes=1)
}
dag = DAG(
'test DAG',
default_args=default_args,
schedule_interval=None
)
t0 = PythonOperator(
task_id="task 1",
python_callable=run_task_1,
op_args=[arg_1, args_2, args_3],
dag=dag,
execution_timeout=dt.timedelta(minutes=60)
)
t1 = PythonOperator(
task_id="task 2",
python_callable=run_task_2,
dag=dag,
execution_timeout=dt.timedelta(minutes=60)
)
t1.set_upstream(t0)
然而,当我运行它,我看到在日志中的以下内容:
[2017年10月17日16:18:35519] {jobs.py:2083} INFO - 任务退出, 返回代码-9
在没有任何其他有用的错误日志。任何人都看过吗?我错误地定义了我的DAG吗?任何帮助感谢!
答
您正在使用哪种版本的气流?
从1.8开始,在动态start_date,https://github.com/apache/incubator-airflow/blob/master/UPDATING.md#less-forgiving-scheduler-on-dynamic-start_date上,气流对宽松调度程序影响较小。
尝试给出一个特定的日期。
试过了。不幸的是,它并没有解决我的问题。我认为出于某种原因,调度员认为这是一个僵尸任务并杀死它。 – user1059968