request爬虫

代理

在需要代理的时候，可以通过为请求方法提供proxies参数来配置单个请求：

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

当代理需要使用HTTP Basic Auth时，可以使用http://user:password@host/语法（注意结尾的/号一定要有）：

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

也可以通过环境变量HTTP_PROXY和HTTPS_PROXY来配置代理

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")