在 Python 中使用 Requests 库发送“用户代理”

Question

我想在使用 Python 请求请求网页时发送 "User-agent" 的值。我不确定是否可以将其作为标头的一部分发送，如下面的代码所示：

 debug = {'verbose': sys.stderr}
user_agent = {'User-agent': 'Mozilla/5.0'}
response  = requests.get(url, headers = user_agent, config=debug)

调试信息未显示请求期间发送的标头。

在标头中发送此信息是否可以接受？如果没有，我该如何发送？

原文由 user1289853 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

user-agent 应指定为标题中的字段。

这是 HTTP 标头字段的列表，您可能会对 特定于请求的字段 感兴趣，其中包括 User-Agent 。

如果您使用 requests v2.13 和更新版本

做你想做的最简单的方法是创建一个字典并直接指定你的标题，如下所示：

 import requests

url = 'SOME URL'

headers = {
    'User-Agent': 'My User Agent 1.0',
    'From': '[e-mail]'  # This is another valid field
}

response = requests.get(url, headers=headers)

如果您使用 requests v2.12.x 及更早版本

旧版本的 requests 破坏了默认标头，因此您需要执行以下操作以保留默认标头，然后将您自己的标头添加到其中。

 import requests

url = 'SOME URL'

# Get a copy of the default headers that requests would use
headers = requests.utils.default_headers()

# Update the headers with your custom ones
# You don't have to worry about case-sensitivity with
# the dictionary keys, because default_headers uses a custom
# CaseInsensitiveDict implementation within requests' source code.
headers.update(
    {
        'User-Agent': 'My User Agent 1.0',
    }
)

response = requests.get(url, headers=headers)

原文由 wkl 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

使用 session 更方便，这样你就不必每次都记住设置标题：

 session = requests.Session()
session.headers.update({'User-Agent': 'Custom user agent'})

session.get('https://httpbin.org/headers')

默认情况下，会话还为您管理 cookie。如果您想禁用它，请参阅 此问题。

原文由 user 发布，翻译遵循 CC BY-SA 4.0 许可协议