将 Aiohttp 与代理一起使用

Question

我正在尝试使用异步从 url 列表（由 id 标识）中获取 HTML。我需要使用代理。

我正在尝试将 aiohttp 与代理一起使用，如下所示：

 import asyncio
import aiohttp
from bs4 import BeautifulSoup

ids = ['1', '2', '3']

async def fetch(session, id):
    print('Starting {}'.format(id))
    url = f'https://www.testing.com/{id}'

    async with session.get(url) as response:
        return BeautifulSoup(await response.content, 'html.parser')

async def main(id):
    proxydict = {"http": 'xx.xx.x.xx:xxxx', "https": 'xx.xx.xxx.xx:xxxx'}
    async with aiohttp.ClientSession(proxy=proxydict) as session:
        soup = await fetch(session, id)
        if 'No record found' in soup.title.text:
            print(id, 'na')

loop = asyncio.get_event_loop()
future = [asyncio.ensure_future(main(id)) for id in ids]

loop.run_until_complete(asyncio.wait(future))

根据这里的一个问题： https ://github.com/aio-libs/aiohttp/pull/2582 似乎 ClientSession(proxy=proxydict) 应该可以工作。

但是，我收到一个错误 "__init__() got an unexpected keyword argument 'proxy'"

知道我应该怎么做才能解决这个问题吗？谢谢你。

原文由 yl_low 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您可以在 session.get 调用中设置代理配置：

 async with session.get(url, proxy=your_proxy_url) as response:
    return BeautifulSoup(await response.content, 'html.parser')

如果您的代理需要身份验证，您可以像这样在代理的 url 中设置它：

 proxy = 'http://your_user:your_password@your_proxy_url:your_proxy_port'
async with session.get(url, proxy=proxy) as response:
    return BeautifulSoup(await response.content, 'html.parser')

或者：

 proxy = 'http://your_proxy_url:your_proxy_port'
proxy_auth = aiohttp.BasicAuth('your_user', 'your_password')
async with session.get(url, proxy=proxy, proxy_auth=proxy_auth) as response:
    return BeautifulSoup(await response.content, 'html.parser')

有关更多详细信息，请查看 此处

原文由 JoseVL92 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

愚蠢的我 - 在阅读@Milan Velebit 的文档后我意识到变量应该是 trust_env=True 而不是 proxy 或 proxies 。代理信息应来自/设置在 HTTP_PROXY / HTTPS_PROXY 环境变量中。

原文由 yl_low 发布，翻译遵循 CC BY-SA 4.0 许可协议