异步任务介绍
在写项目过程中经常会遇到一些耗时的任务, 比如:发送邮件、发送短信等等~。这些操作如果都同步执行耗时长对用户体验不友好,在这种情况下就可以把任务放在后台异步执行
celery就是用于处理异步任务的框架,celery能完成的功能远不止异步任务,还有一个很常用的功能定时任务
架构图
Celery包含如下组件：
Celery Beat：任务调度器，Beat进程会读取配置文件的内容，周期性地将配置中到期需要执行的任务发送给任务队列。
Celery Worker：执行任务的消费者，通常会在多台服务器运行多个消费者来提高执行效率。
Broker：消息代理，或者叫作消息中间件，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费方（通常是消息队列或者数据库）。
Producer：调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
Result Backend：任务处理完后保存状态信息和结果，以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。
Celery 安装
pipinstalldjango-celery celery-with-redis
项目结构
加载celery app(settings文件中)
添加Celery全局配置(settings文件中)
同步Celery表到数据库
pythonmanage.py migrate
创建celery.py文件(与settings同级)
创建任务文件
在需要使用异步任务的app中创建tasks.py,写入对应的任务函数,博主喜欢把tasks放在对应的app下,其实放在其他目录下也可以的,看个人习惯
触发任务
在对应的视图中导入tasks中的任务函数调用即可
启动Celery
进入opsweb工程下,启动Celery
备注:
本场景用户访问触发任务，流程如下：
用户页面上点击事件->调用任务/定时计划任务->任务进入redis队列
->如果celery启动则依次执行任务->如果celery没启动，则会存到redis
队列里，一旦启动就依次执行
启动Django
[vagrant@reboot opsweb]$python manage.py runserver0:8000
测试
页面上触发了异步任务就会在celery日志里看到任务信息,我这里只是写了简单的任务例子
计划任务 - djcelery
djcelery app提供了定时任务的功能，注册并同步到数据库之后，会生产五个表，结构如下：
在django后台可以看到注册的表
每个任务可以接受参数
定时任务函数
启动Celery beat
[vagrant@reboot opsweb]$ python manage.py celery beat# 启动定时任务
Celery会通过celery beat进程来完成. Celerybeat会保持运行, 一旦到了某一定期任务需要执行时, Celery beat便将其加入到queue中
supervisor管理Celery任务
配置如下
主动触发任务
定时任务触发
网友评论