简单说下需求,https://www.glprop.com.cn/our...
这个网站,我想获取网站里面的所有物流园区的地址分布信息,然后获取详情信息,但是这些数据全部镶嵌到一个地图里面,要自己点击城市,再点击物流园区名字才看的具体信息,不像传统的url用xpath就解析全的,我抓包看xhr里面是空的,其他都是js,完全不知道如何下手,有没有高手指点迷津啊。
简单说下需求,https://www.glprop.com.cn/our...
这个网站,我想获取网站里面的所有物流园区的地址分布信息,然后获取详情信息,但是这些数据全部镶嵌到一个地图里面,要自己点击城市,再点击物流园区名字才看的具体信息,不像传统的url用xpath就解析全的,我抓包看xhr里面是空的,其他都是js,完全不知道如何下手,有没有高手指点迷津啊。
没人回答,只能自己回答了
自己琢磨搞定了
参见我的文章
使用python scrapy爬取网页中带有地图展示的数据
https://segmentfault.com/a/11...