想采集页面XHR请求的数据

Question

看了一些数据采集工具，主要是针对页面生成html 元素的数据做采集。而对js动态生成的数值采集，则显得有些力不从心。借助chrome的开发者工具，可以看到，页面发起的xhr请求的结果中，包含了所需的数据。

问：想请教下，是否有方式模拟浏览器访问页面，并将XHR请求的结果记录下来？

Answer 1

• 解决思路：使用浏览器或者带浏览器内核工具，进行页面加载，并执行页面的ajax请求，并log下api接口反馈回来的数据
• 解决方法：使用phantojs,借助page.onResourceReceived，并capture对应的response内容