如图,只返回了标签,但内容都没了。我才学爬虫没多久,也不知道错的原因
你先查看页面源代码,如果里面没有你想要的数据,就说明这些数据都是ajax异步加载的(目前绝大多数网站数据都是异步加载的)。如果是异步加载,你就需要找到那个ajax的URL,看看所需参数,然后自己模拟请求。
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3.1k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
你可以换几种方法测试,例如正则,或pyquery,等方法,看是否成功,
但看你这个情况,网页多半是ajax刷新的,或者,你设置一个time函数,暂停一下再抓取。