请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:
原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了
请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:
原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了
这种情况比抓取一个代理ip网页,使用cookie但是报错好解决多了==,你完全可以判断当前页面内容然后进行模拟刷新~ 重要的是保持会话。
如果还不行的话,可以加referer再试一试
3 回答3.1k 阅读✓ 已解决
2 回答1.9k 阅读✓ 已解决
2 回答1.2k 阅读✓ 已解决
2 回答1.8k 阅读✓ 已解决
4 回答1.8k 阅读
3 回答1.7k 阅读
1 回答1.4k 阅读✓ 已解决
动态加载的数据你应该找ajax api请求,而不是在网页找,工欲善其事必先利其器,善用 F12。