我在用postman发送访问请求时,返回的结果与网页在浏览器中打开的结果并不一致,请问这是什么原因,该如何入手解决呢?
这里是postman返回的html结果,显示数据加载中
这是实际在浏览器中打开的网页
我在用postman发送访问请求时,返回的结果与网页在浏览器中打开的结果并不一致,请问这是什么原因,该如何入手解决呢?
这里是postman返回的html结果,显示数据加载中
这是实际在浏览器中打开的网页
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
2 回答2k 阅读✓ 已解决
首先感谢楼主提出的这个问题,刚才理解有误,细细研究了下发现大有门道。
先从前端讲,一直都说vue,react开发的单页面应用的缺点就是不利于搜索引擎优化,搜索引擎即爬虫,不利于爬取数据,所以才有了相应的服务端渲染方案。
为什么不利于搜索引擎优化?原因就是楼主的问题,不管是查看源代码,还是请求postman,返回的只是源码,不是浏览器渲染出来的最终页面。因为最终页面是在js里操作dom异步创建出来的,这类网页叫动态网页,不可直接爬取。而服务端渲染出来的才是静态网页,才能直接爬取
所以,只要涉及到异步创建dom,都不能直接爬取,需要在浏览器的
Network
中分析请求资源再爬取。python我不懂,可以谷歌 python如何爬动态网站