Python上爬取网页端数据(闲鱼),由于反扒机制的不确定性导致request.get的不稳定性;再者对于Selenium和Scrapy框架的易被识别为机器人等原因。
遂考虑通过模拟器+Python来爬取所要的低价商品信息(最精简最容易实现的框架)
需要实时post的成功性以及低频次的100%的数据获取性,推荐使用什么框架为宜?
Python上爬取网页端数据(闲鱼),由于反扒机制的不确定性导致request.get的不稳定性;再者对于Selenium和Scrapy框架的易被识别为机器人等原因。
遂考虑通过模拟器+Python来爬取所要的低价商品信息(最精简最容易实现的框架)
需要实时post的成功性以及低频次的100%的数据获取性,推荐使用什么框架为宜?
10 回答11.7k 阅读
2 回答3.2k 阅读✓ 已解决
2 回答4.3k 阅读✓ 已解决
2 回答874 阅读✓ 已解决
5 回答839 阅读
3 回答1.7k 阅读✓ 已解决
4 回答2.2k 阅读✓ 已解决
appium 这个是手机端的Selenium,可以点击,滑动,输入等,可以最大限度的模拟人操作,缺点就是速度慢