airflow 安装步骤

我怕爱的太早我们不能终老 提交于 2019-11-26 12:12:15

因为python2.7各种版本的问题,所以最终使用 python3.6

1、下载anaconda3
2、通过conda 创建虚拟环境
3、根据airflow 的官方文档 Quick Start, 部署demo
     文档 URL: http://airflow.apache.org/start.html

-- 将数据存储从sqlite变成mysql
4、安装mysql
     文档 URL: https://dinfratechsource.com/2018/11/10/how-to-install-latest-mysql-5-7-21-on-rhel-centos-7/

5、设置mysql 

a.在my.cnf中的[mysqld]下,加入 explicit_defaults_for_timestamp=1
b.在mysql 中创建一个airflow的库

6、修改airflow 的airflow.cfg文件 参考官方文档的 Initializing a Database Backend
      文档 URL: http://airflow.apache.org/howto/initialize-database.html

主要涉及2点:
a.修改 airflow.cfg 文件中的 executor, 将其值修改为 LocalExecutor
b.修改 airflow.cfg 文件中的 sql_alchemy_conn,
   将其值修改为 mysql+pymysql://username:password@ip:port/airflow

7、启动airflow

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!