使用python的requests同一个地址返回不同的结果

版本:python3.5

代码:

header = {   
    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
    "Accept-Encoding":"gzip, deflate",
    "Accept-Language":"zh-CN,zh;q=0.9",
    "Connection":"keep-alive",
    "Host":"www.dianping.com",
    "Upgrade-Insecure-Requests":"1",
    "User-Agent": 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
    "Pragma": "no-cache",
    "Cache-Control": "no-cache",
    'Cookie':'cye=guangzhou; '

}
result = requests.get('http://www.dianping.com/search/category/4/10/g0r0', headers=header)
print(result.content)

同一个头部,同样的请求地址,尝试十次,大概有三次出现错误页面,其他出现的都是正确页面,请问为什么呢

clipboard.png


clipboard.png

错误页面部分代码

<html><head>\r\n<script language="javascript">\r\nsetTimeout("location.replace(location.href.split(\\"#\\")[0])",2000);\r\n</script>\r\n<script src="http://18.20.18.20:44582/nsflashcookie/flash.js" type="text/javascript">

用浏览器以及pycharm测试请求频繁返回的是403forbidden

clipboard.png

阅读 3.9k
2 个回答

就是请求太频繁了,每次都一样的header很容易被认出来

比如 3-5s 或 30-60s 请求一次

楼主的user-agent有问题吧,我改了一个就好了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题