社区微信群开通啦,扫一扫抢先加入社区官方微信群
社区微信群
接口实现之后,需要异步跑自动化任务,因为自动化执行是耗时耗资源的操作,不可能在请求发出去后一直等待全部结果返回,所以需要实现异步。
环境:
Python3.6 , PyCharm, W7
Celery介绍:
安装:
pip install celery
pip install djcelery
Celery是一个简单、灵活可靠的,处理大量消息的分布式系统,它是一个专注于实时处理的任务队列, 同时也支持任务调度。
Celery中有两个比较关键的概念
Worker: worker 是一个独立的进程,它持续监视队列中是否有需要处理的任务;
Broker: broker 也被称为中间人或者协调者,broker 负责协调客户端和 worker 的沟通。客户端向 队列添加消息,broker 负责把消息派发给 worker。
项目结构:
实现:
编写代码:
修改项目setting.py配置
# celery 配置
djcelery.setup_loader()
BROKER_URL = 'django://' # 使用django做broker
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 定时任务.
CELERY_RESULT_BACKEND = 'djcelery.backends.database:DatabaseBackend' # 需要跟踪任务的状态时保存结果和状态
CELERY_ENABLE_UTC = False # 不用UTC.
CELERY_TIMEZONE = 'Asia/Shanghai' # 指定上海时区
CELERY_ACCEPT_CONTENT = ['pickle', 'json', 'msgpack', 'yaml'] # 允许的格式
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_IGNORE_RESULT = True
INSTALLED_APPS = [
'djcelery',# 新增
'kombu.transport.django', # 新增kombu.transport.django则是基于Django的broker
]
在项目下新建celery.py 如上图
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'AutoApi.settings')
app = Celery('AutoApi')
app.config_from_object('django.conf:settings')
app.autodiscover_tasks()
在应用下新建tasks.py 如上图
@shared_task
def running(env, project, cases):
print('开始执行异步任务')
print(env,project,cases)
# test_cases_runing(env, project, cases) 启动自动化测试
return 1
创建Celery所需的数据表
python manage.py migrate
启动Django服务
python manage.py runserver 0.0.0.0:8090
启动celery worker 服务
celery -A AutoApi worker -l info
celer worker 启动成功提示
提示 [2017-11-03 20:30:17,526: WARNING/MainProcess] celery@SHANB040312 ready.
代码celery worker 服务启成功了
postman 请求如下图,可以看到响应的时间是毫秒
看下console celery worker 的输出,可以看到成功执行了我们的异步任务
[2017-11-03 20:39:25,234: INFO/MainProcess] Received task: Api.tasks.running[8a994909-a139-4f2a-bcdd-58b6280a2bc3]
[2017-11-03 20:39:31,740: WARNING/Worker-1] 开始执行异步任务
[2017-11-03 20:39:31,740: WARNING/Worker-1] sit
[2017-11-03 20:39:31,741: WARNING/Worker-1] zhengxin
[2017-11-03 20:39:31,741: WARNING/Worker-1] test_taiyue.py
[2017-11-03 20:39:31,742: INFO/MainProcess] Task Api.tasks.running[8a994909-a139-4f2a-bcdd-58b6280a2bc3] succeeded in 0s: 1
其中有很多细节可以优化
原理(网络资源):
celery的模块架构
工作原理
以上就是我们的异步任务的实现,后面有机会再总结下定时任务的实现和使用RabbitMQ 。
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!