三个生产级别的Django 异步应用实例

文章首发公众号「码农吴先生」, 欢迎订阅关注。

Django3.0 发布的时候，我尝试着用了下它的异步功能。当时它仅仅添加了对ASGI的支持（可见之前的文章 Django 3.0 异步试用分享，直到Django3.1的发布，才支持了视图和中间件的异步，但是关键的Django ORM层还是没有异步。Django生态对第三方异步的ORM支持又不是很友好，这就导致很多用户面对Django的异步功能无从下手。

很过文章在描述Django view 和中间件的异步使用方法时，因为没有ORM的异步，在view中大多数用asyncio.sleep来代替，并没有真实的案例。这便进一步导致读者无从下手，认为Django 异步完全没生产使用价值。这观点完全是错误的，现阶段Django 的异步功能完全可用于生成。

下边是来自Arun Ravindran（<Django设计模式和最佳实践>作者） 的三个生产级别的Django 异步使用案例，供大家参考。

Django 异步的用例

微服务调用

现阶段，大多数系统架构已经从单一架构进化为微服务架构，在业务逻辑中调用其他服务的接口成为常有的事情。Django 的异步view 在这种情况下，可以很大程度上提高性能。

让我们看下作者的例子：通过两个微服务的接口来获取最后展示在home页的数据。

# 同步版本
def sync_home(request):
    """Display homepage by calling two services synchronously"""
    context = {}
    try:
        # httpx 支持异步http client ，可理解为requests的升级异步版，完全兼容requests 的api。
        response = httpx.get(PROMO_SERVICE_URL)
        if response.status_code == httpx.codes.OK:
            context["promo"] = response.json()
        response = httpx.get(RECCO_SERVICE_URL)
        if response.status_code == httpx.codes.OK:
            context["recco"] = response.json()
    except httpx.RequestError as exc:
        print(f"An error occurred while requesting {exc.request.url!r}.")
    return render(request, "index.html", context)


# 异步版本
async def async_home_inefficient(request):
    """Display homepage by calling two awaitables synchronously (does NOT run concurrently)"""
    context = {}
    try:
        async with httpx.AsyncClient() as client:
            response = await client.get(PROMO_SERVICE_URL)
            if response.status_code == httpx.codes.OK:
                context["promo"] = response.json()
            response = await client.get(RECCO_SERVICE_URL)
            if response.status_code == httpx.codes.OK:
                context["recco"] = response.json()
    except httpx.RequestError as exc:
        print(f"An error occurred while requesting {exc.request.url!r}.")
    return render(request, "index.html", context)

# 异步升级版
async def async_home(request):
    """Display homepage by calling two services asynchronously (proper concurrency)"""
    context = {}
    try:
        async with httpx.AsyncClient() as client:
            # 使用asyncio.gather 并发执行协程
            response_p, response_r = await asyncio.gather(
                client.get(PROMO_SERVICE_URL), client.get(RECCO_SERVICE_URL)
            )

            if response_p.status_code == httpx.codes.OK:
                context["promo"] = response_p.json()
            if response_r.status_code == httpx.codes.OK:
                context["recco"] = response_r.json()
    except httpx.RequestError as exc:
        print(f"An error occurred while requesting {exc.request.url!r}.")
    return render(request, "index.html", context)

同步版本很显然，当有一个服务慢时，整体的逻辑就会阻塞等待。服务的耗时依赖最后返回的那个接口的耗时。

再看异步版本，改用了异步http client 调用，这里的写法并不能增加该view 的速度，两个协程并不能同时执行。当一个协查await时，只是将控制器交还回了事件循环，而不是立即执行本view的其他逻辑或协程。对于本view来说，仍然是阻塞的。

最后看下异步升级版，使用了asyncio.gather ，它会同时执行两个协程，并在他们都完成的时候返回。升级版相当于并发，普通版相当于串行，Arun Ravindran说效率提升了一半（有待验证）。

文件提取

当django 视图需要从文件提取数据，来渲染到模板中时。不管是从本地磁盘还是网络环境，都会是一个潜在的阻塞I/O操作。在阻塞的这段时间内，完全可以干别的事情。我们可以使用aiofile库来进行异步的文件I/O操作。

async def serve_certificate(request):
    timestamp = datetime.datetime.now().isoformat()

    response = HttpResponse(content_type="application/pdf")
    response["Content-Disposition"] = "attachment; filename=certificate.pdf"
    async with aiofiles.open("homepage/pdfs/certificate-template.pdf", mode="rb") as f:
        contents = await f.read()
        response.write(contents.replace(b"%timestamp%", bytes(timestamp, "utf-8")))
    return response

此实例，使用了本地的磁盘文件，如果使用网络文件时，记着修改对应代码。

文件上传

文件上传是一个很长的I/O阻塞操作，结合 aiofile的异步写入功能，我们可以实现高并发的上传功能。

async def handle_uploaded_file(f):
    async with aiofiles.open(f"uploads/{f.name}", "wb+") as destination:
        for chunk in f.chunks():
            await destination.write(chunk)


async def async_uploader(request):
    if request.method == "POST":
        form = UploadFileForm(request.POST, request.FILES)
        if form.is_valid():
            await handle_uploaded_file(request.FILES["file"])
            return HttpResponseRedirect("/")
    else:
        form = UploadFileForm()
    return render(request, "upload.html", {"form": form})

需要注意的是，这绕过了Django的默认文件上传机制，因此需要注意安全隐患。

总结

本文根据Arun Ravindran的三个准生产级别的实例，阐述了Django 现阶段异步的使用。从这些例子当中可以看出，Django 的异步加上一些异步的第三方库，已经完全可以应用到生产。我们生产系统的部分性能瓶颈，特别是I/O类型的，可以考虑使用Django 的异步特性来优化一把了。

我是DeanWu，一个努力成为真正SRE的人。

---

关注公众号「码农吴先生」, 可第一时间获取最新文章。回复关键字「go」「python」获取我收集的学习资料，也可回复关键字「小二」，加我wx，聊技术聊人生~