celery

一、什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。 消息中间件 Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等 任务执行单元 Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。 任务结果存储 Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等 版本支持情况 Celery version 4.0 runs on Python ❨2.7, 3.4, 3.5❩ PyPy ❨5.4, 5.5❩ This is the last version to support Python 2.7, and from the next version (Celery 5.x) Python 3.5 or newer is required. If you’re running an older version of Python,

Celery 是一个强大的 分布式任务队列 的 异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。 在Celery中几个基本的概念，需要先了解下，不然不知道为什么要安装下面的东西。概念：Broker、Backend。 broker broker是一个消息传输的中间件或消息队列，可以理解为一个邮箱。 每当应用程序调用celery的异步任务的时候，会向broker传递消息，而后celery的worker将会取到消息，进行对于的程序执行。其中Broker的中文意思是 经纪人 ，其实就是一开始说的 消息队列 ，用来发送和接受消息。这个Broker有几个方案可供选择：RabbitMQ (消息队列)， Redis （缓存数据库）， 数据库 （不推荐），等等 backend 用于存储这些消息以及celery执行的一些消息和结果。 Backend是在Celery的配置中的一个配置项 CELERY_RESULT_BACKEND ，作用是保存结果和状态，如果你需要跟踪任务的状态，那么需要设置这一项，可以是Database backend，也可以是Cache backend，具体可以参考这里： CELERY_RESULT_BACKEND 。 brokers，官方推荐是 rabbitmq 和

二、Celery基本使用 1.创建一个celery application 用来定义你的任务列表，创建一个任务文件就叫tasks.py吧。 from celery import Celery # 配置好celery的backend和broker app = Celery('task1', backend='redis://127.0.0.1:6379/0', broker='redis://127.0.0.1:6379/0') #普通函数装饰为 celery task @app.task def add(x, y): return x + y 如此而来，我们只是定义好了任务函数func函数和worker(celery对象)。worker相当于工作者。 2.启动Celery Worker来开始监听并执行任务。broker 我们有了，backend 我们有了，task 我们也有了，现在就该运行 worker 进行工作了，在 tasks.py 所在目录下运行： [root@localhost ~]# celery -A tasks worker --loglevel=info # 启动方法1 [root@localhost ~]# celery -A tasks worker --l debug # 启动方法2 现在 tasks 这个任务集合的 worker 在进行工作

BROKER_URL='redis://:xxxxx@127.0.0.1:6379/2', 　　其中xxxxx是密码，密码前必须加冒号。 来源： https://www.cnblogs.com/qybk/p/12036492.html