有向无环图调度任务框架airflow安装部署测试

安装最新版

pip3 install apache-airflow==1.10.10

先初始化

airflow initdb

 

此时会在当前用户的根目录下生成一个airflow目录，如root用户下的 /root/airflow

可以使用find / -name airflow.cfg查询位置。

此时使用的sqllite数据库

 

修改为使用mysql库

Airflow的配置文件airflow.cfg配置

 

再次初始化

airflow initdb

可看到

 

启动访问

airflow webserver

 

注意改端口，默认8080

 

 

 

访问

http://ip:18002

 

启动调度

不启动调度任务不执行

airflow scheduler

部署dag程序

把dag程序放在用户根目录下的airflow/dags下，具体可修改配置

 

日志

代码中打印日志

 

 

 

问题解决

（1）没有名为“ werkzeug.wrappers.json”的模块；pip3 install werkzeug == 0.15.4

1. mysql问题

安装mysql-community-devel即可产生mysql-config

Mysql的配置文件修改

 

（3）缺少设什么组件可以使用如下安装

pip3 install apache-airflow[werkzeug]