获取到的网页数据和页面显示的不一致

星梦天国
  • 86

情况

将网页整个HTML爬取下来后, 源码中span标签的内容和页面上显示的不一致
标签内容: 30%
image.png

# response = requests.get(matrixport_url_new, headers=headers,
#                       )
# text = response.text
# print(response.text)

根据网页内容定位到的Inspector中对应的元素的id如下

image.png

查看网页源代码中,结果不是30%,而是0%
image.png

查看Network中的Type
image.png

复制id名字到Network中搜索,没有任何匹配的url
image.png

使用fillder捕获到的url是.svg结尾的
image.png
请问这种情况下,数据是来自js还是ajax还是其他

问题更新
我的情况
image.png

我的情况和下图中斗鱼直播的关注数一样,下图是我访问斗鱼后的截图

![image.png

image.png

比较特殊的是源代码中span标签包含的内容是空的
请问这种类型的需要怎么获取需要的数据,requests和selenium,bs4自己用了常规方法获取,都失败了

回复
阅读 244
1 个回答

做了防爬处理吧,可能是通过字体包将数字做了映射转换,方便的话可以将页面发出来看看

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏