0

大家好,用scrapy爬取链家网二手房数据,其中遇到翻页的问题,想要获取页码,chrome检查如图:

而实际网页源码中,并不存在这些。在network中找js文件,发现这些:

data-page = "'+(n+1)+'" 所需内容被隐藏在一串函数里,请问应该如何获取?

爬取链接是:http://bj.lianjia.com/ershouf...

2个回答

1

已采纳

你请求的这个url中就有页码信息,不能翻页吗?

http://bj.lianjia.com/ershoufang/dongcheng/pg{页码}/

想要获得js加载的页面,可以用selenium,不过能通过分析请求的数据来做的就不要用去模拟加载了。

0

去爬m.lianjia.com,然后你会发现这个世界如此美好

撰写答案

SegmentFault

一起探索更多未知

下载 App