Python 的异步 IO:Aiohttp Client 代码分析
Aiohttp 是 Python 的一个 HTTP 框架,基于 asyncio,所以叫 Aiohttp。
我主要是看源码,想理解它的设计,所以附上了类图与时序图。不可避免的,可读性会比较差。
想找教程的话,请移步 官方教程,写得还是挺不错的。
一个例子
下面这个例子,通过 HTTP GET 列出 GitHub 的 public events:
import asyncio
import aiohttp
async def main():
async with aiohttp.ClientSession() as session:
async with session.get('https://api.github.com/events') as resp:
print(resp.status)
print(await resp.text())
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
Response 是一个 JSON 格式的文本:
[
{
"id": "6888907432",
"type": "PushEvent",
"actor": {
"id": 3956266,
"login": "sekineh",
"display_login": "sekineh",
"gravatar_id": "",
"url": "https://api.github.com/users/sekineh",
"avatar_url": "https://avatars.githubusercontent.com/u/3956266?"
},
...
]
ClientSession
是一个 Asynchronous Context Manager,所以搭配 async with
语句一起使用。像下面这样应该也是可以的:
async def main():
session = aiohttp.ClientSession()
...
await session.close()
不过肯定是不推荐的,就当是帮助理解吧。
ClientSession.get()
返回一个 ClientResponse
对象,通过 text()
方法,可以拿到 response 的文本:
print(await resp.text())
当然,text()
是一个协程:
@asyncio.coroutine
def text(self, encoding=None, errors='strict'):
"""Read response payload and decode."""
...
Connector
ClientSession
依赖 Connector 来创建连接,缺省为 TCPConnector
,它继承自 BaseConnector
,此外还有 UnixConnector
(应该是 Unix Domain Socket)。
Connector 的接口比较简单,主要提供了 connect()
方法(也是协程):
@asyncio.coroutine
def connect(self, req):
"""Get from pool or create new connection."""
...
以及 close()
方法:
def close(self):
"""Close all opened transports."""
...
ConnectionKey
ClientRequest
有个属性 connection_key
:
class ClientRequest:
@property
def connection_key(self):
return ConnectionKey(self.host, self.port, self.ssl)
它是一个 namedtuple
:
ConnectionKey = namedtuple('ConnectionKey', ['host', 'port', 'ssl'])
由 host
,port
和 ssl
三个元素组成,这三个元素可以唯一定义一个连接,所以叫 ConnectionKey
。
文章开头的那个例子中,ConnectionKey 为:
ConnectionKey(host='api.github.com', port=443, ssl=True)
全局函数 request()
Aiohttp 为 Client 程序提供了一个全局函数 request()
,用法如下:
async def main():
resp = await aiohttp.request('GET', 'http://python.org/')
print(resp)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
可见 request()
只是 ClientSession
的一个简单封装,其步骤大致为:
- 创建
TCPConnector
; - 创建
ClientSession
; - 调用
ClientSession._request()
。
建议不要直接使用 request()
,而只把它当成 ClientSession
的一个样例。因为 Aiohttp 官方文档是 这样说的:
Don’t create a session per request. Most likely you need a session per application which performs all requests altogether.A session contains a connection pool inside, connection reusage and keep-alives (both are on by default) may speed up total performance.
即,一个 request 用一个 session,太浪费;通常是一个 application 用一个 session。
一些小问题
我经常发现一个变量,明明可以是局部变量,却被当成了成员变量。
Request 里放了一个 response?
class ClientRequest:
def send(self, conn):
...
self.response = self.response_class(
self.method, self.original_url,
writer=self._writer, ...
)
self.response._post_init(self.loop, self._session)
return self.response
self.response
在 ClientRequest
其他地方并没有用到,是否可以改成局部变量?
ClientResponse.start()
里的 _protocol
应该用局部变量吧?
class ClientResponse:
@asyncio.coroutine
def start(self, connection, read_until_eof=False):
"""Start response processing."""
self._closed = False
self._protocol = connection.protocol
类图
时序图
The End
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。