tornado中使用celery实现异步MySQL操作

侯西阳

tornado-celery 是基于celery的tornado客户端,通过tornado-celery可以将耗时任务加入到任务队列中处理,在celery中创建任务,tornado中就可以像调用AsyncHttpClient一样调用这些任务。

使用celery需要选择一种broker(中间人)进行消息的接受和发送,中间人通常作为一种独立的服务,常用的broker又RabbitMQ、Redis以及MongoDB等。

RabbitMQ 是AMPQ高级消息队列协议的实现,是使用最广泛的消息系统,因为tornado-celery中使用redis无法使用callback,建议使用RabbitMQ作为broker。

下面是准备工作

  • 安装tornado、celery、tornado-celery

  • 安装RabbitMQ
    mac上使用brew安装该服务程序

    brew install rabbitmq
  • 启动rabbitmq-server

    sudo rabbitmq-server -detached

准备工作完成后就可以编码了

  • 创建tasks.py

    celery = Celery('tasks', broker='amqp://')
    celery.conf.CELERY_RESULT_BACKEND = os.environ.get('CELERY_RESULT_BACKEND', 'amqp')
    
    @celery.task(name='task.query_users')
    def query_users(admin_id):
        # 耗时的数据库操作
        return db.query_all_users(admin_id)
  •  运行tasks.py

    python tasks.py worker --loglevel=info
  • 创建handler


    import tcelery
    tcelery.setup_nonblocking_producer()

    from tasks import query_users
    
    calss Users(RequestHandler):
        @asynchronous
        def get():
            # 参数通过args的list传递,回调通过callback指定
            query_users.apply_async(args=[admin_id], callback=self.on_success)
        def on_success(self, response):
            # 获取返回的结果
            users = response.result
            self.write(users)
            self.finish()

这样,query_users的请求就变成异步非阻塞的了,同理,其他的耗时操作可以放到task中供tornado的请求调用。

阅读 16.1k

侯西阳
fool stack

fool stack developer

349 声望
13 粉丝
0 条评论

fool stack developer

349 声望
13 粉丝
文章目录
宣传栏