为什么爬去豆瓣电影的标签,爬取不了?

1.比如说我想查询电影 (无间道) 的相关信息

图片描述

2.找到演职人员的对应信息,标签。
本页面有15个电影信息,图中画圈所示

图片描述

3.代码如下
图片描述

4.结果爬取不了,但标签定位是正确的啊,这是为什么?
图片描述

阅读 5.2k
4 个回答

这些数据是异步请求生成的吧,爬页面只能爬同步数据,你需要去爬取页面的接口吧

呢个标签估计是js生成的吧

新手上路,请多包涵

这是异步加载的数据。
若要爬取,需要先找到存放数据的json。
寻找方式:打开开发者工具,找到xhr那一项,然后分析并提取含有json的URL。

看看你直接请求到的HTML页面中有没有这些数据,没得话,应该是JS生成的了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题