Celery

Celery是Python开发的分布式任务调度模块。分为任务分发，任务队列，worker3个部分。celery的出现，解决了python运行后台任务的需求。

这篇文章介绍的celery版本是3.1.18

celery架构

                                                                +------------------+
                                                       +------> | celery worker.1  |
+-----------------+       +-----------------------+    |        +------------------+
|   web service   +-----> | job queue(redis or ..)+----+                            
+-----------------+       +-----------------------+    |        +------------------+
                                                       +------> | celery worker.2  |
                                                       |        +------------------+
                                                       |                            
                                                       |        +------------------+
                                                       +------> | celery worker.[n]|
                                                                +------------------+

任务队列，支持如redis，RabbitMQ甚至数据库。通常redis是最好的选择，不过数据库在本地使用的时候，也是不错的。

安装celery

使用douban的pypi镜像，安装会快一点。

pip install -i http://pypi.douban.com/simple celery

普通使用

使用Redis作为Broker时，再安装一个celery-with-redis

开始编写tasks.py：

import time
from celery import Celery

celery = Celery('tasks', broker='redis://localhost:6379/0')

@celery.task
def sendmail(mail):
    print('sending mail to %s...' % mail['to'])
    time.sleep(2.0)
    print('mail sent.')

if __name__ == '__main__':
    sendmail.delay(dict(to='myemail@gogs.io'))

启动worker

celery -A tasks worker

运行任务

python tasks.py

这里普通的调用方式是sendmail(...) 如果改成后台运行就变成了sendmail.delay(...)

Celery默认设置就能满足基本要求。Worker以Pool模式启动，默认大小为CPU核心数量，缺省序列化机制是pickle，但可以指定为json。由于Python调用UNIX/Linux程序实在太容易，所以，用Celery作为异步任务框架非常合适。

flask中使用celery

web中使用celery是常有的事情。heroku官方就推荐python程序使用celery。代码，我放到github上一份https://github.com/codeskyblue/celery-examples

首先创建一个web.py文件

from flask import Flask
from celery import Celery


def make_celery(app):
    celery = Celery(app.import_name, broker=app.config['CELERY_BROKER_URL'])
    celery.conf.update(app.config)
    TaskBase = celery.Task
    class ContextTask(TaskBase):
        abstract = True
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return TaskBase.__call__(self, *args, **kwargs)
    celery.Task = ContextTask
    return celery

app = Flask(__name__)
app.config.update(
    CELERY_BROKER_URL='redis://localhost:6379',
    CELERY_RESULT_BACKEND='redis://localhost:6379'
)
celery = make_celery(app)

编写任务函数

@celery.task()
def add_together(a, b):
    res = a + b
    print res
    return res

然后是一个主页, 请求主页的时候，就会自动调用add_together这个函数，交给celery运行

@app.route('/')
def homepage():
    a = random.randint(0, 10)
    b = random.randint(0, 10)
    add_together.delay(a, b)
    return 'Create new task {} + {}'.format(a, b)

然后还需要编写一个run.py文件（这里需要分开两个文件)

from web import app

if __name__ == '__main__':
    app.run()

启动web应用python web.py,启动worker的方法celery -A web.celery worker

如果需要用sqlite作为后端的话，也是可以的，首先需要安装pip install sqlalchemy

flask的app配置稍微改下

app.config.update(
    CELERY_BROKER_URL='sqla+sqlite:///queue.db',
    CELERY_RESULT_BACKEND='db+sqlite:///queue.db',
    CELERY_ACCEPT_CONTENT = ['pickle', 'json', 'msgpack', 'yaml']
)

然后，celery就会用本地的queue.db文件，作为队列了。