celery

定时任务： schedule与apscheduler与celery 量级： schedule < apscheduler < celery 三者都支持定时任务配置： -- schedule相当于linux下的crontab，使用最简单，但不支持动态添加任务和任务实例化，所以在实际项目中使用不多。 -- apschedule解决了schedule的不足，项目中定时任务使用最多 -- celery 的功能强点在异步队列，定时功能只是一个附加功能，如果只为定时而使用celery则太过笨重，杀鸡用牛刀。 想想定时任务需支持的几个关键点： 1.触发方式: 按照特定频率/特定时间 2.调度方法：阻塞/非阻塞/异步 3.任务的实例化，为什么实例化？具体使用看应用场景： -- 如果重启了一切重来，就按照默认的任务存内存，简单高效； -- 当程序崩溃或应用重启时，还需要保持定时任务的正常流程，比如（程序A每两个小时运行一次，10点运行了，11点应用重启，那么还会维持下次在12点执行，因为任务的调度已经实例化到数据库）， 实例化的时候又要考虑，任务重复添加到数据库的问题，不急。有相关配置，是替换还是继续添加，追加就会存在同时有多个任务同时进行。 4.任务的执行，是采用多线程还是多进程？看你是CPU密集型还是IO密集型，如果是后者就没必要浪费进程数了，也可以二者结合使用。 当任务未执行完毕

一、celery介绍 1. 什么是celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 celery单独使用一个socket，不会额外占用其他程序的资源。 项目中使用celery的优势 减少服务器的压力 提供了3中任务的执行方式 2. celery架构 Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（task result store）组成。 celery的架构图 （1）消息中间件 celery本身不提供消息服务，但是可以和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等 （2）任务执行单元 worker是celery提供的任务执行单元，worker并发的运行在分布式系统节点中 （3）任务结果存储 Task result store用来存储worker执行的任务结果，celery支持以不同方式存储任务的结果，包括AMQP，redis等 3. celery的使用场景 celery中共提供了3中任务执行的方式，分别应用于3个场景 异步执行 延迟执行 定时执行 （1）异步执行 异步的执行分配的任务 （2）延迟执行 就是在之后的某一个时间点，执行该指定的任务 （3）定时执行 解决周期任务（就是周期的执行某一个任务） 4.

目录 Celery的使用 Celery简介 官方链接 Celery架构 使用场景 Celery的安装配置 Celery执行异步任务 基本使用 高级使用 django中使用celery Celery的使用 Celery简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度，可用于处理实时数据以及任务调度。 官方链接 Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html Celery 官方文档中文版：http://docs.jinkan.org/docs/celery/ Celery架构 Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（task result store）组成。 消息中间件 Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等 任务执行单元 Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。 任务结果存储 Task result

Celery 官方 Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html Celery 官方文档中文版：http://docs.jinkan.org/docs/celery/ Celery架构 Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（task result store）组成。 消息中间件 Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等 任务执行单元 Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。 任务结果存储 Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等 使用场景 异步执行：解决耗时任务 延迟执行：解决延迟任务 定时执行：解决周期(周期)任务 Celery的安装配置 pip install celery 消息中间件：RabbitMQ/Redis app=Celery('任务名', broker='xxx', backend='xxx

1. 安装celery模块 pip install -U celery==4.3.0 2. 创建celery相关目录 xiaolan/ # 项目主目录 ├── mycelery/ ├── config.py # 配置文件 ├── __init__.py ├── main.py # 主程序 └── sms/ # 一个目录可以放置多个任务,该目录下存放当前任务执行时需要的模块或依赖 └── tasks.py # 任务的文件，名称必须是这个 3. 创建celery配置文件config.py # 注意: 我的redis因为没有设置密码所有可以这样用 # 任务队列的链接地址 broker_url = 'redis://127.0.0.1:6379/15' # 结果队列的链接地址 result_backend = 'redis://127.0.0.1:6379/14' 4. 在man.py主程序中对django的配置文件进行加载, 把django和celery进行组合 import os import django from celery import Celery # 主程序 # 创建celery实例对象 app = Celery("xiaolan") # 把celery和django进行结合， 识别和加载django的配置文件 os.environ.setdefault('DJANGO