node有什么好用的爬虫的npm

Question

node有什么好用的爬虫的npm？

Answer 1

"async": "^2.1.4",//并发控制库
"cheerio": "^0.22.0",//node.js端的jquery
"superagent": "^3.4.1",//http请求下载
"superagent-charset": "^1.1.1"//superagent GBK支持

Answer 2

request发请求cheerio解析dom是核心原理
但同时还要中文乱码，图片抓取数据不完全的问题，还要解决多并发的异步处理
建议手写一个

Answer 3

request发请求
cheerio解析dom

Answer 4

https://github.com/monw3c/nod... 可以看看这个