爬取某网站时需要浏览器刷新一次才能返回真实的页面数据?

请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:
图片描述
原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了

阅读 3.7k
2 个回答

动态加载的数据你应该找ajax api请求,而不是在网页找,工欲善其事必先利其器,善用 F12。

推荐问题
宣传栏