node.js爬虫 get到的数据是类似ejs的模板字符串应该怎么解决?

lleung
  • 21

练手的一个项目,想爬取网易云上面的歌手信息
代码类似

const request = require('superagent');
const cheerio = require('cheerio');
request
    .get('http://music.163.com/#/discover/artist/cat')
    .accept('text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8')
    .query({
        id: 1001,
        initial: 65
    })

但是爬到的数据是字符串模板:

<li class="j-item" data-userId=${user.userId} data-username=${user.nickname} data-index=${user_index}><a href="#"><img src=${user.avatarUrl}>${user.nickname}</a></li>

应该怎么解决呢?谢谢~

回复
阅读 1.9k
3 个回答
✓ 已被采纳

很明显你应该去嵌入html中的script标签中寻找user这个对象了,而不是盯着这个模板看。当然你也可以用phantom.js把页面加载出来再抓取。

首先,你得到${user.userId}说明不是服务器渲染的,那么数据就只能是前端通过js渲染。
然后你有两种方式得到这些数据
一是查看http请求,包括资源文件和XHR,看看哪个请求是得到这些数据的,但这种方式不一定能拿到你想要的页面显示的数据,因为可能有拼接拆分过滤等规则,因此可能要做代码分析。
二是打开一个headless浏览器让js执行完成,再获取元素显示的值,如puppeteer等。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏