Tornado 的异步请求机制

Question

假设有如下代码.

class Index(RequestHandler):

    @coroutine
    def get(self):
        response = yield AsyncHTTPClient().fetch('google.com')
        print(response)

这个代码通过 AsyncHTTPClient 异步的获取某些内容.

问题是:

AsyncHTTPClient 获取内容的时候, Tornado 是不是离开这个 Handler 去处理其它事情了?
那么谁来执行 AsyncHTTPClient 的内容呢? 再开一个线程吗? 再开一个线程的话, 那不是每一个请求都要新建一个线程了吗= _ =....

谢谢.

Answer 1

首先，你的程序是错误的。应该这么写：

class Index(RequestHandler):
    @coroutine
    def get(self):
        response = yield AsyncHTTPClient().fetch('http://google.com')
        print(response)

Tornado 是异步网络库。它意味着，有网络 I/O 事件时它才会相应地处理。

一个简单的比喻，你去餐厅吃饭，服务员把菜单给你们就走了，处理其它事务去了；你这边准备点菜了，再把它叫过来。

Tornado 的机制是类似的：在抓取网页时，Tornado 将请求发出，然后告诉操作系统，在这个连接上有数据时通知一下。然后它就去忙其它事务了，比如响应另一个请求。

除非你程序里自己开线程，否则 Tornado 是单线程的。

Answer 2

可能答非所问了，但我都是这么干的：

class MyHandler(tornado.web.RequestHandler):
  # 线程池
  executor = ThreadPoolExecutor(max_thread_num)

  # 线程里处理
  @run_on_executor
  def my_func(self, data):
    # do something with data
    return data

  @tornado.web.asynchronous
  @tornado.gen.coroutine
  def get(self):
    # 获取各种参数
    res = yield self.my_func()
    self.write(str(res))
    self.finish()

Answer 3

我的理解是：Tornado 应该是在系统级别注册了一个回调，用 AsyncHTTPClient这个异步 HTTP Client 发起网络请求，系统会在请求结束/失败等结果时，返回结果给 Tornado 传给它的回调函数，回调函数再处理这个结果。

你的代码中的错误，依云帮你修正啦。1、不用asynchronous，2、要用 yield。3、fetch 的 url 要用 http://www.google.com 而非 google.com。。