Python上爬取网页端数据(闲鱼),由于反扒机制的不确定性导致request.get的不稳定性;再者对于Selenium和Scrapy框架的易被识别为机器人等原因。
遂考虑通过模拟器+Python来爬取所要的低价商品信息(最精简最容易实现的框架)
需要实时post的成功性以及低频次的100%的数据获取性,推荐使用什么框架为宜?
Python上爬取网页端数据(闲鱼),由于反扒机制的不确定性导致request.get的不稳定性;再者对于Selenium和Scrapy框架的易被识别为机器人等原因。
遂考虑通过模拟器+Python来爬取所要的低价商品信息(最精简最容易实现的框架)
需要实时post的成功性以及低频次的100%的数据获取性,推荐使用什么框架为宜?
10 回答11.1k 阅读
6 回答3k 阅读
5 回答4.8k 阅读✓ 已解决
4 回答3.1k 阅读✓ 已解决
2 回答2.6k 阅读✓ 已解决
3 回答2k 阅读✓ 已解决
4 回答4.4k 阅读✓ 已解决
appium 这个是手机端的Selenium,可以点击,滑动,输入等,可以最大限度的模拟人操作,缺点就是速度慢