当前位置:脚本大全 > > 正文

django操作数据库(详解django+django-celery+celery的整合实战)

时间:2021-11-03 15:10:40类别:脚本大全

django操作数据库

详解django+django-celery+celery的整合实战

本篇文章主要是由于计划使用django写一个计划任务出来,可以定时的轮换值班人员名称或者定时执行脚本等功能,百度无数坑之后,终于可以凑合把这套东西部署上。本人英文不好,英文好或者希望深入学习或使用的人,建议去参考官方文档,而且本篇的记录不一定正确,仅仅实现crontab 的功能而已。

希望深入学习的人可以参考 http://docs.jinkan.org/docs/celery/

首先简单介绍一下,celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。它的架构组成如下图

django操作数据库(详解django+django-celery+celery的整合实战)

可以看到,celery 主要包含以下几个模块:

任务模块 task

包含异步任务和定时任务。其中,异步任务通常在业务逻辑中被触发并发往任务队列,而定时任务由 celery beat 进程周期性地将任务发往任务队列。

消息中间件 broker

broker,即为任务调度队列,接收任务生产者发来的消息(即任务),将任务存入队列。celery 本身不提供队列服务,官方推荐使用 rabbitmq 和 redis 等。

任务执行单元 worker

worker 是执行任务的处理单元,它实时监控消息队列,获取队列中调度的任务,并执行它。

任务结果存储 backend

backend 用于存储任务的执行结果,以供查询。同消息中间件一样,存储也可使用 rabbitmq, redis 和 mongodb 等。

异步任务

使用 celery 实现异步任务主要包含三个步骤:

创建一个 celery 实例

启动 celery worker

应用程序调用异步任务

一、快速入门

本地环境:

os:centos6.5
django-1.9
python-2.7.11
celery==3.1.20
django-celery

python、pip、django相关安装不在详写,直接参考百度即可;

  • ?
  • 1
  • 2
  • 3
  • pip install django==1.9   安装django
  • pip install celery==3.1.20 安装celery
  • pip install django-celery  安装django-celery
  • 安装如果有失败,所需要的依赖环境自行解决。例如:mysql-python等;

    使用做redis作为消息中间件,安装redis:

    二、创建django项目开始测试

    1、创建django 工程 命名为djtest

  • ?
  • 1
  • django-admin.py startproject djtest1
  • 2、创建app 命名为apps

  • ?
  • 1
  • 2
  • cd djtest
  • python manage.py startapp apps1
  • 3、创建完成后,django 目录结构如下:

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • djtest1
  • ├── apps1
  • │ ├── admin.py
  • │ ├── apps.py
  • │ ├── init.py
  • │ ├── migrations
  • │ │ └── init.py
  • │ ├── models.py
  • │ ├── tests.py
  • │ └── views.py
  • ├── djtest1
  • │ ├── init.py
  • │ ├── init.pyc
  • │ ├── settings.py
  • │ ├── settings.pyc
  • │ ├── urls.py
  • │ └── wsgi.py
  • └── manage.py
  • 4、修改setting.py django配置文件,增加如下:

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • import djcelery ###
  • djcelery.setup_loader() ###
  • celery_timezone='asia/shanghai' #并没有北京时区,与下面time_zone应该一致
  • broker_url='redis://192.168.217.77:16379/8' #任何可用的redis都可以,不一定要在django server运行的主机上
  • celerybeat_scheduler = 'djcelery.schedulers.databasescheduler' ###
  •  
  • installed_apps = (
  •   'django.contrib.admin',
  •   'django.contrib.auth',
  •   'django.contrib.contenttypes',
  •   'django.contrib.sessions',
  •   'django.contrib.messages',
  •   'django.contrib.staticfiles',
  •   'djcelery'### 加入djcelery应用
  •   'apps1',   ###   加入新创建的apps1
  • )
  • time_zone='asia/shanghai' ###
  • 开头增加如上配置文件,根据实际情况配置redis的地址和端口,时区一定要设置为 asia/shanghai 。否则时间不准确回影响定时任务的运行。

    上面代码首先导出djcelery模块,并调用setup_loader方法加载有关配置;注意配置时区,不然默认使用utc时间会比东八区慢8个小时。其中installed_apps末尾添加两项,分别表示添加celery服务和自己定义的apps服务。

    5、编写celery文件:djtest/djtest/celery.py

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • #!/bin/python
  • from __future__ import absolute_import
  •  
  • import os
  •  
  • from celery import celery
  •  
  • os.environ.setdefault('django_settings_module', 'djtest1.settings')
  • #specifying the settings here means the celery command line program will know where your django project is.
  • #this statement must always appear before the app instance is created, which is what we do next:
  • from django.conf import settings
  •  
  • app = celery('djtest1')
  •  
  • app.config_from_object('django.conf:settings')
  • #this means that you don't have to use multiple configuration files, and instead configure celery directly from the django settings.
  • #you can pass the object directly here, but using a string is better since then the worker doesn't have to serialize the object.
  •  
  • app.autodiscover_tasks(lambda: settings.installed_apps)
  • #with the line above celery will automatically discover tasks in reusable apps if you define all tasks in a separate tasks.py module.
  • #the tasks.py should be in dir which is added to installed_app in settings.py.
  • #so you do not have to manually add the inliidual modules to the celery_import in settings.py.
  •  
  • @app.task(bind=true)
  • def debug_task(self):
  •   print('request: {0!r}'.format(self.request)) #dumps its own request information
  • 6、修改djtest1/djtest1/ init .py

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • #!/bin/python
  • from __future__ import absolute_import
  •  
  • # this will make sure the app is always imported when
  • # django starts so that shared_task will use this app.
  • from .celery import app as celery_app
  • 7、接下来编写你希望django去完成的app,本文中要编写的就是在installed_apps中注册的apps。在celery.py中设定了对settings.py中installed_apps做autodiscover_tasks,本文希望apps中能够接受这样的目录组织:所有的app都可以放到apps下面,而且每个app都有独立的目录,就和上面的app1、app2一样,每个app各自有各自的 init .py和tasks.py(注意,每个app都需要 init .py文件,可以是空白的)。但是这样的结构组织在启动时会报错说module apps找不到。然后在apps下增加了一个 init .py文件,这时报错没了,但是apps下每个app的tasks.py中的任务函数还是无法被django和celery worker找到。

    **然后尝试了在apps1下面写一个__init__.py(空白)和task.py,所有的task function都写到tasks.py中,如下**

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • from __future__ import absolute_import
  •  
  • from celery import task
  •  
  • from celery import shared_task
  •  
  • #from celery.task import tasks
  • #from celery.task import task
  •  
  • @task()
  • #@shared_task
  • def add(x, y):
  •   print "%d + %d = %d"%(x,y,x+y)
  •   return x+y
  • #class addclass(task):
  • #  def run(x,y):
  • #    print "%d + %d = %d"%(x,y,x+y)
  • #    return x+y
  • #tasks.register(addclass)
  •  
  • @shared_task
  • def mul(x, y):
  •   print "%d * %d = %d"%(x,y,x*y)
  •   return x*y
  •  
  • @shared_task
  • def sub(x, y):
  •   print "%d - %d = %d"%(x,y,x-y)
  •   return x-y
  • 8、同步数据库

  • ?
  • 1
  • 2
  • 3
  • python manage.py makemigrations
  •  
  • python manage.py migrate
  • 9、创建超级用户

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • python manage.py createsuperuser
  •  
  • username (leave blank to use 'work'): admin
  • email address: yyc@taihe.com
  • password:
  • password (again):
  • superuser created successfully.
  • 10、启动django-web、启动celery beat 启动 celery worker进程

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • python manage.py runserver 0.0.0.0:8001#启动django的应用,可以动态的使用django-admin来管理任务
  •  
  • python manage.py celery beat #应该是用来监控任务变化的
  •  
  • python manage.py celery worker -c 6 -l debug #任务执行进程,worker进程
  • 11、通过django-admin添加已注册的任务,并查看输出是否正常。

    http://192.168.217.77:8001/admin/ 输入密码登录

    (1)

    登录后添加任务:

    django操作数据库(详解django+django-celery+celery的整合实战)

    点击红线标记的列表,通过add来添加;

    (2)

    django操作数据库(详解django+django-celery+celery的整合实战)

    点击进入以后,可以看到已经存在的任务,点击添加即可;

    (3)

    django操作数据库(详解django+django-celery+celery的整合实战)

    按照提示,输入name,通过task(registered) 选择已经注册的函数服务。

    选择运行模式,阻塞模式,为多长时间间隔运行一次,或者crontab形式运行。

    点击arguments(show),添加需要传入注册函数的参数。

    (4)

    django操作数据库(详解django+django-celery+celery的整合实战)

    实例,具体名称以及运行时间以及传入参数等。

    (5)

    django操作数据库(详解django+django-celery+celery的整合实战)

    保存之后,可以查看到列表。

    (6)在 python manage.py celery worker -c 6 -l debug 启动的窗口可以看到如下的运行过程,证明已经生效。

    django操作数据库(详解django+django-celery+celery的整合实战)

    第一行红色标记,可以看到注册函数被调用,第二行红色标记,可以看到函数的返回值。

    到此已经基本完成。在实际运用中,我们只需要修改或者添加到tasks.py文件里一些函数,让他注册到里边。我们从前台django-web写入任务,可以使其动态加载到任务。并且把正确的参数传过去,就可以正常执行。完成我们所想要的通过这个django-celery工具制作定期的备份、统一管理的crontab平台等。

    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。

    原文链接:https://blog.51cto.com/14236481/2364685

    标签:
    上一篇下一篇

    猜您喜欢

    热门推荐