爬虫可以爬脚手架搭建的vue或react项目吗?

后台老大说以后不要用vue写了,说是爬虫爬取不到网页里面的内容。
请问是否真的爬取不到脚手架搭建的vue或react项目?

阅读 16.1k
5 个回答

node环境下用phantomjs是可以的。所有前端渲染的网站都适用。

以往的渲染页面都是静态的,给用户看的都是加载好的,所以很容易爬,现在都是页面动态渲染的,需要有一个模拟环境,执行后再爬取

感觉是所有的单页应用都不适合,你要是不做单页的话,vue也可以吧

如果是java的话,可以用javafx加载网页,然后爬取,或者调用谷歌的驱动ChromeDriver(其他语言也可以用),控制浏览器加载vue网页后再爬取

新手上路,请多包涵

可以用express做中间件,来渲染页面

推荐问题
宣传栏