airflow

# Airflow 1.10+安装本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10.0Python == 3.6.5Mysql == 5.7# 整体流程1. 建表2. 安装3. 配置4. 运行5. 配置任务```启动scheduleairflow scheduler -D启动webserverairflow webserver -Dps -ef|grep -Ei '(airflow-webserver)'| grep master | awk '{print $2}'|xargs -i kill {}ps -ef | grep -Ei 'airflow' | grep -v 'grep' | awk '{print $2}' | xargs -i kill {}## 建库、建用户```库名为airflow'create database airflow;'建用户用户名为airflow，并且设置所有ip均可以访问。create user 'airflow'@'%' identified by 'airflow';create user 'airflow'@'localhost' identified by 'airflow'

1. 准备工作 1.1. 安装并初始化airflow，参考以下文档： https://www.cnblogs.com/zackstang/p/11082322.html 其中还要额外安装的是： sudo pip-3.6 install -i https://pypi.tuna.tsinghua.edu.cn/simple 'apache-airflow[celery]' sudo pip-3.6 install -i https://pypi.tuna.tsinghua.edu.cn/simple boto3 1.2. 配置好本地AWS Credentials，此credential需有启动EMR 的权限。 1.3. 置数据库为外部数据库： 编辑 airflow.cfg 文件，修改数据库连接配置（需提前在数据库中创建好airflowdb 的数据库）： sql_alchemy_conn = mysql://user:password@database_location/airflowdb 使用下面的命令检查并初始化： airflow initdb 1.4. 配置executor 为 CeleryExecutor 编辑airflow.cfg 文件，修改executor配置： executor = CeleryExecutor 修改后可以保证相互无依赖的任务可以并行执行

从第一次接触airflow到生产投产使用已经有近两个月的时间了，从部署到开发到运维调优，期间也遇到各种各样的问题，自己也从听说到熟悉。这篇博客主要从三个方面着手。 一、安装部署airflow 调度工具airflow安装使用 一、安装airflow 1.环境准备： 1.1.安装mysql数据库 解压 mariadb包： tar -xzvf mariadb-10.2.14-linux-x86_64.tar.gz cd mariadb-10.2.14-linux-x86_64 配置mysql： 根据实际需求修改my.cnf配置文件。 启动mysql： 初始化mysql数据库：scripts/mysql_install_db 启动mysql：nohup bin/mysqld --defaults-file=my.cnf & 重置mysql root密码： bin/mysqladmin -u root password “123456” bin/mysql -u root -p 输入密码即可登录 1.2.创建airflow数据库及用户 建库： mysql> create database airflow; 建用户： mysql> create user ‘airflow’@’%’ identified by ‘airflow’; mysql> create user ‘airflow’@