问题出现在循环体内的回调函数,用一个很简单的例子举例:

for x in xrange(3):
    print "requests begin:%s"%x
    def callback(respon):
        print x
        print respon.body
    client.fetch("http://httpbin.org/get?x=%s" % x, callback)

此例子忽略了等待回调函数完成的wait实现(不实现这个会导致作为单个文件运行的时候,还没获得结果就退出了),在tornado.testing中的AsyncTestCase提供了相关功能
httpbin.org/get这个地址的作用是返回了请求的json对象,形如:

{
  "args": {
    "x": "0"
  },
  "headers": {
    "Accept-Encoding": "gzip",
    "Connection": "close",
    "Host": "httpbin.org",
    "X-Request-Id": "95df3c15-7ed0-4a6d-830d-fb9629e66515"
  },
  "origin": "192.81.129.91",
  "url": "http://httpbin.org/get?x=0"
}

但实际上,由于回调函数特殊的特性:访问闭包内局部变量的当前值。易知,在第一个请求
http://httpbin.org/get?x=0的url返回时,循环早已结束,此时的x已经为2,因此实际上虽然httpbin.org返回的json告诉我们,get参数里的x为0,但闭包内访问到的x已经是2了

解决方法我想了两个,一个是利用回调函数构造时的变量空间,在构造函数时即产生这个参数,形如:

client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
    def callback(respon,num=x):
        print x, num
        print respon.body
        if num == 2:
            self.stop()

    client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))

一种是再包一层闭包(这层闭包也可以放在for外面):

client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
    def wrap(number):
        num = number
        def callback(respon):
            print x, num
            print respon.body
            if num == 2:
                self.stop()
        return callback
    client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))

#wrap放在for外面:
client = AsyncHTTPClient(self.io_loop)
def wrap(number):
    num = number
    def callback(respon):
        print x, num
        print respon.body
        if num == 2:
            self.stop()
    return callback
for x in xrange(3):
    client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))

思索了一下,闭包的内存占用问题应当是不可避免的?当循环体的每一项(x)是一个大内存对象时,内存占用等同于不用迭代器用列表进行循环,除了这两种不知道还有没有更优雅的解决方案。。


猪了个去
349 声望5 粉丝

=w=快乐的Python程序猿