大家好,用scrapy爬取链家网二手房数据,其中遇到翻页的问题,想要获取页码,chrome检查如图:
而实际网页源码中,并不存在这些。在network中找js文件,发现这些:
data-page = "'+(n+1)+'" 所需内容被隐藏在一串函数里,请问应该如何获取?
大家好,用scrapy爬取链家网二手房数据,其中遇到翻页的问题,想要获取页码,chrome检查如图:
而实际网页源码中,并不存在这些。在network中找js文件,发现这些:
data-page = "'+(n+1)+'" 所需内容被隐藏在一串函数里,请问应该如何获取?
13 回答13.1k 阅读
2 回答5.3k 阅读✓ 已解决
7 回答2.3k 阅读
2 回答1.2k 阅读✓ 已解决
4 回答1.6k 阅读✓ 已解决
3 回答1.4k 阅读✓ 已解决
6 回答1.5k 阅读✓ 已解决
你请求的这个url中就有页码信息,不能翻页吗?
http://bj.lianjia.com/ershoufang/dongcheng/pg{页码}/
想要获得js加载的页面,可以用selenium,不过能通过分析请求的数据来做的就不要用去模拟加载了。