nodejs如何抓取动态网页

网站在控制台是有数据的

clipboard.png

但是查看源代码只能看到标签
clipboard.png

现在只能抓取到源代码,怎样才能抓取到带数据的标签呢?

阅读 8.7k
3 个回答

看控制台network是否由Ajax加载的,模拟请求获取
如果不行上phantomjs
教程

抓取动态页面优先考虑是否能找到相关数据接口(Ajax请求地址),如果不行考虑 phantomjs

这是我个人用nodejs开发的一个爬取今日头条新闻数据的一个小demo,可以参考下,使用selenium+phantomjs抓取数据,地址是: http://www.jianshu.com/p/1fdd...

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题