请教爬取淘宝的商品问题,急

我准备爬淘宝的搜索某商品的结果页列表-

在分析页面的html的时候我发现,淘宝这个页面获取了数据之后,之后显示到屏幕的才会加载出数据来, 可能描述的不清楚,我贴几个图片。

我要爬取的是下面红框里的数据图片描述

然后我从页面上分析html标签拿到的数据只有前面这几个,后面都是空的图片描述

然后我就用selenium加了一个滚动到底部的操作,结果就是两头有数据,中间一大片空 。

所以我看了一下,这个东西是随着你慢慢的滚动,才显示出更多的数据的

请教一下大神们,我要怎么样处理,才能拿到全部的数据

阅读 3k
2 个回答
https://s.m.taobao.com/search?q=iphonex&search=%E6%8F%90%E4%BA%A4&tab=all&sst=1&n=20&buying=buyitnow&m=api4h5&abtest=10&wlsort=10&page=1

用接口吧

可以用selenium执行javascript命令来下拉窗口,从而使所有数据都加载显示后,再进行数据提取

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题