后台老大说以后不要用vue写了,说是爬虫爬取不到网页里面的内容。请问是否真的爬取不到脚手架搭建的vue或react项目?
node环境下用phantomjs是可以的。所有前端渲染的网站都适用。
以往的渲染页面都是静态的,给用户看的都是加载好的,所以很容易爬,现在都是页面动态渲染的,需要有一个模拟环境,执行后再爬取
使用vue的话建议你要开发多页面应用,这样的话有利于爬虫抓取,也和正常网页一样https://segmentfault.com/a/11...
感觉是所有的单页应用都不适合,你要是不做单页的话,vue也可以吧
如果是java的话,可以用javafx加载网页,然后爬取,或者调用谷歌的驱动ChromeDriver(其他语言也可以用),控制浏览器加载vue网页后再爬取
可以用express做中间件,来渲染页面
6 回答2.9k 阅读✓ 已解决
6 回答2.3k 阅读
5 回答6.3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
2 回答2k 阅读✓ 已解决
2 回答1.5k 阅读✓ 已解决
2 回答2.1k 阅读✓ 已解决
node环境下用phantomjs是可以的。所有前端渲染的网站都适用。
以往的渲染页面都是静态的,给用户看的都是加载好的,所以很容易爬,现在都是页面动态渲染的,需要有一个模拟环境,执行后再爬取