scrapy 如何爬带有地图的的url

简单说下需求,https://www.glprop.com.cn/our...
这个网站,我想获取网站里面的所有物流园区的地址分布信息,然后获取详情信息,但是这些数据全部镶嵌到一个地图里面,要自己点击城市,再点击物流园区名字才看的具体信息,不像传统的url用xpath就解析全的,我抓包看xhr里面是空的,其他都是js,完全不知道如何下手,有没有高手指点迷津啊。

阅读 2.1k
1 个回答

没人回答,只能自己回答了
自己琢磨搞定了
参见我的文章
使用python scrapy爬取网页中带有地图展示的数据
https://segmentfault.com/a/11...

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进