我准备爬淘宝的搜索某商品的结果页列表-
在分析页面的html的时候我发现,淘宝这个页面获取了数据之后,之后显示到屏幕的才会加载出数据来, 可能描述的不清楚,我贴几个图片。
我要爬取的是下面红框里的数据
然后我从页面上分析html标签拿到的数据只有前面这几个,后面都是空的
然后我就用selenium加了一个滚动到底部的操作,结果就是两头有数据,中间一大片空 。
所以我看了一下,这个东西是随着你慢慢的滚动,才显示出更多的数据的
请教一下大神们,我要怎么样处理,才能拿到全部的数据
我准备爬淘宝的搜索某商品的结果页列表-
在分析页面的html的时候我发现,淘宝这个页面获取了数据之后,之后显示到屏幕的才会加载出数据来, 可能描述的不清楚,我贴几个图片。
我要爬取的是下面红框里的数据
然后我从页面上分析html标签拿到的数据只有前面这几个,后面都是空的
然后我就用selenium加了一个滚动到底部的操作,结果就是两头有数据,中间一大片空 。
所以我看了一下,这个东西是随着你慢慢的滚动,才显示出更多的数据的
请教一下大神们,我要怎么样处理,才能拿到全部的数据
2 回答4.3k 阅读✓ 已解决
2 回答867 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
3 回答868 阅读✓ 已解决
2 回答2.2k 阅读✓ 已解决
4 回答2.6k 阅读
3 回答912 阅读✓ 已解决
用接口吧