使用superagent请求某网页,网页不是ssr页面数据都是走接口获得(我知道正常来讲直接爬接口就好,但是我有个特别需求非要这样- -),
我希望通过cheerio分析页面形式获得数据,使用cheerio load请求到的html,但有时load完的html上会没有数据,请问这是怎么回事?
使用superagent请求某网页,网页不是ssr页面数据都是走接口获得(我知道正常来讲直接爬接口就好,但是我有个特别需求非要这样- -),
我希望通过cheerio分析页面形式获得数据,使用cheerio load请求到的html,但有时load完的html上会没有数据,请问这是怎么回事?
你都说了,网页不是server side render的。大概率是浏览器里面用js 继续拉取资源,动态渲染的。
这种情况下,直接看chrome的网络,看看都请求了什么资源,依次排查,找到你想要的,然后针对那个url抓取核心数据。
5 回答4.8k 阅读✓ 已解决
4 回答2.4k 阅读✓ 已解决
2 回答1.7k 阅读✓ 已解决
5 回答1.9k 阅读
2 回答1.3k 阅读✓ 已解决
3 回答2k 阅读
1 回答3.2k 阅读
原来是被网站反爬虫了