获取网站所有网页访问的URL地址和页面资源加载访问地址

网站上面现有来两个图片服务器的域名地址,现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写?如果是用php或者是python写这个脚本应该用哪些工具?

阅读 6.6k
2 个回答

如果自己的网站可以写一段js foreach本页面的img对象的src然后通过ajax提交后台接口;
如果是本地工具抓取的话只能用selenium这种能够解析js的工具了;

推荐分析图片服务器的访问日志
用python写,应该蛮快的

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题