融合Datax工具的数据同步平台开源FirstBlood部署

本博客是在作者博客基础上做的实操，其中有一些细节在作者博客中并没有提及；
这是一个半成品，其中的部分模块功能并没有实现，如sql脚本版块、数据库管理版块（如果想正常使用的话，需要手写入库sql）等
哈哈！
废话少说，开始吃瓜：
【step1:pip安装】
#curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本
#python get-pip.py # 运行安装脚本

【step2:使用pip安装依赖】
#pip install celery==3.1.25
#pip install celery-with-redis==3.0
#pip install Django==1.11.14
#pip install django-celery==3.2.1
#pip install pymssql==2.1.4
#pip install redis==2.10.6
#pip install supervisor==3.3.4
官网缺少MySQL-python,实际项目中用到了这个模块包
#pip install MySQL-python
如果失败
可以先安装下面软件包后，再使用pip安装
yum install mysql-devel gcc gcc-devel python-devel

【step3:数据初始化并修改数据源配置】
官方文档缺少这部分的说明。
mysql数据库安装
(这里面注意在sql脚本初始化时，要注意数据库的版本，其中的datetime类型低版本中是没有的，初始化时会报错)
redis数据库安装
修改FirstBlood/settings.py中的数据源配置

【step4:django初始化】
#python manage.py migrate

【step5:启动celery和websocketed服务】
#supervisord -c /web/project/python/FirstBlood/supervisord/FirstBlood_dev.conf
查看执行状态
# supervisorctl status
【异常记录】
1、低版本的mysql无法导入create_table.sql脚本文件
datetime在低版本mysql中没有这个类型（mysql Ver 14.14 Distrib 5.1.73）
mysql升级到（mysql Ver 14.14 Distrib 5.7.30）版本后可以正常导入脚本。
2、执行python manage.py migrate异常
django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: No module named MySQLdb
解决办法执行:
#yum install MySQL-python.x86_64
Windows操作系统如果失败可以
到下面的站点下载文件后，通过文件安装
https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python
pip install wheel
pip install MySQL_python-1.2.5-cp27-none-win_amd64.whl
3、执行同步任务时
提示没有web_log目录

【step6:datax部署&配置】
放到项目根目录下，注意官网下载下来的目录是大写的，程序里调用的是小写目录，
所以下载完后要把包名改为小写datax，否则程序不能正常执行。（作者博文未做说明）
#git clone https://github.com/alibaba/DataX.git

【step7:启动项目】
#cd /web/project/python/FirstBlood
#python manage.py runserver 0:8000 &

【step8:访问url】
平台端：
http://192.168.192.196:8000/accounts/login/?next=/

管理端：
http://192.168.192.196:8000/admin/login/?next=/admin/
django管理账号创建
#python manage.py createsuperuser

PS:databaseinfo表需要自己手动添加，通过insert语句入库后，系统才能使用。

【参考网址】
http://www.celeryproject.org/
https://www.djangoproject.com/download/
https://www.cnblogs.com/huangxiaoxue/p/9392817.html #作者博客
https://github.com/hanson007/FirstBlood
https://github.com/alibaba/DataX/blob/master/introduction.md

来源：oschina

链接：https://my.oschina.net/guiguketang/blog/4407294

标签

pip

python

mysql

django