python 抓取网页数据为空,请求指点

http://data.10jqka.com.cn/aja...
具体爬的数据是这个网页,我已经解析到这里里,爬去代码如下:

import urllib
def getHtml(url):
    html = urllib.request.urlopen(url).read()
    html = html.decode('gbk')
    return html


里面明明有数据,打开源代码也有数据,但是使用上面的代码爬去就没有反应了?
请问这是为什么?
### 问题描述

问题出现的环境背景及自己尝试过哪些方法

相关代码

// 请把代码文本粘贴到下方(请勿用图片代替代码)

你期待的结果是什么?实际看到的错误信息又是什么?

阅读 3.7k
1 个回答
我刚刚测试了下,这网站需要携带cookie才行,你的问题出在headers没有携带cookie
我这个代码刚刚测试是可以的,我只会requests 或者 requests_html之类的
# 代码很简单 你应该能看懂
import requests

url = "http://data.10jqka.com.cn/ajax/yjgg/date/2019-03-31/board/ALL/field/DECLAREDATE/order/desc/page/1/"
response = requests.get(url, headers={
    "Host": "data.10jqka.com.cn",
    "Connection": "keep-alive",
    "Cache-Control": "max-age=0",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Referer": "http://data.10jqka.com.cn/ajax/yjgg/date/2019-03-31/board/ALL/field/DECLAREDATE/order/desc/page/1/",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cookie": "vvvv=1; v=ArHeTo__SGAMEeR0NGe9T6UUxjZIniUQzxLJJJPGrXiXut-g2-414F9i2fUg",

})
print(response.text)
  • 结果如下

图片描述

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题