目前我正在使用selenium爬取某众筹网站数据,但是觉得这种方法有点笨拙。遂开始学习使用Postman,通过发送包的方式来获取数据。
操作过程中,我发现当我将同一个网页的url放入postman中的Get方法时,返回的html结构与我在浏览器中得到的结果并不一致,数据看来是通过其他的方法传输过来的。请问这种传输数据的方法是什么呢?除了使用selenium外,是否还有其他的爬取办法?
这是postman中返回的结果,显示数据正在加载。
这是在浏览器中的正常解析的结果
这是准备爬取测试的网址
https://m2.qschou.com/project...
手动打开此网页,右键,查看源代码,你会看到和 postman 一样的内容。
因为加载中的内容是 js 通过 ajax 异步加载的。。。