airflow

@[toc] 管理 AirFlow 方法 进程管理工具Supervisord 安装进程管理工具Supervisord管理airflow进程 easy_install supervisor #此方法不适用于python3安装（会出现很多问题） echo_supervisord_conf > /etc/supervisord.conf 编辑文件supervisord.conf，添加启动命令 vi /etc/supervisord.conf [program:airflow_web] command=/usr/bin/airflow webserver -p 8080 [program:airflow_worker] command=/usr/bin/airflow worker [program:airflow_scheduler] command=/usr/bin/airflow scheduler > 3. 启动supervisord服务 /usr/bin/supervisord -c /etc/supervisord.conf > 4. 此时可以用 supervisorctl 来管理airflow服务了 supervisorctl start airflow_web supervisorctl stop airflow_web supervisorctl restart

AirFlow管理界面的使用 AirFlow 的webserver UI DAGS 左侧 On/Off 按钮控制 DAG 的运行状态，Off 为暂停状态，On 为运行状态。注意：所有 DAG 脚本初次部署完成时均为 Off 状态。 若 DAG 名称处于不可点击状态，可能为 DAG 被删除或未载入。若 DAG 未载入，可点击右侧刷新按钮进行刷新。注意：由于可以部署若干 WebServer，所以单次刷新可能无法刷新所有 WebServer 缓存，可以尝试多次刷新。 Recent Tasks 会显示最近一次 DAG Run（可以理解为 DAG 的执行记录）中 Task Instances（可以理解为作业的执行记录）的运行状态，如果 DAG Run 的状态为 running，此时显示最近完成的一次以及正在运行的 DAG Run 中所有 Task Instances 的状态。 Last Run 显示最近一次的 execution date。注意：execution date 并不是真实执行时间，具体细节在下文 DAG 配置中详述。将鼠标移至 execution date 右侧 info 标记上，会显示 start date，start date 为真实运行时间。start date 一般为 execution date 所对应的下次执行时间。 作业操作框 在 DAG 的树状图和 DAG

@[toc] AirFlow 常见问题 安装问题 1、安装出现ERROR “python setup.py xxx” 。 问题： 第一需要你更新 pip 版本需要使用'pip install --upgrade pip' command. 第二是 setuptools 版本太旧，所以出现以下问题Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-G9yO9Z/tldr/，也是需要你更新 File "/tmp/pip-build-G9yO9Z/tldr/setuptools_scm-3.3.3-py2.7.egg/setuptools_scm/integration.py", line 9, in version_keyword File "/tmp/pip-build-G9yO9Z/tldr/setuptools_scm-3.3.3-py2.7.egg/setuptools_scm/version.py", line 66, in _warn_if_setuptools_outdated setuptools_scm.version.SetuptoolsOutdatedWarning: your setuptools is too old (<12) --------------