爬取链家网数据,js文件如何获取所需信息?

大家好,用scrapy爬取链家网二手房数据,其中遇到翻页的问题,想要获取页码,chrome检查如图:
图片描述

而实际网页源码中,并不存在这些。在network中找js文件,发现这些:

clipboard.png

data-page = "'+(n+1)+'" 所需内容被隐藏在一串函数里,请问应该如何获取?

爬取链接是:http://bj.lianjia.com/ershouf...

阅读 3.2k
2 个回答

你请求的这个url中就有页码信息,不能翻页吗?

http://bj.lianjia.com/ershoufang/dongcheng/pg{页码}/

想要获得js加载的页面,可以用selenium,不过能通过分析请求的数据来做的就不要用去模拟加载了。

去爬m.lianjia.com,然后你会发现这个世界如此美好

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题