http://www.weather.com.cn/weather1d/101010100.shtml#search
爬取这个网站的天气信息,爬虫爬取到的信息比浏览器少,例如这个块信息,
浏览器是这样的
而爬取到的信息是这样的
求大神解惑
http://www.weather.com.cn/weather1d/101010100.shtml#search
爬取这个网站的天气信息,爬虫爬取到的信息比浏览器少,例如这个块信息,
浏览器是这样的
而爬取到的信息是这样的
求大神解惑
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答2.9k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
从页面加载情况看,刚开始这部分是不显示的就可以基本判断是ajax异步加载了。
所以你通过脚本获得的仅仅是未渲染的原始html,没有渲染和执行javascript进行获取动态数据。
可以查看network研究哪个请求获得的你需要的数据,然后直接脚本请求那个数据接口即可