9

这是一个NodeJS爬虫项目,用于爬取爱去小说网的小说资源,非常适合新手学习NodeJS,感受NodeJS的魅力

经测试,爬取并合并1645章的斗破苍穹耗时约6min

图片描述

项目使用的模快主要有:

  • async

  • cheerio

  • superagent

  • superagent-charset

  • mysql

  • bluebird

  • cron

async

异步流程控制模快,用于优化下载速度

cheerio

服务端的jQuery,替代繁琐的正则表达式,大大提高了开发效率

superagent

轻量级的http请求模快,高效灵活

superagent-charset

对superagent抓取页面进行转码,NodeJS平台gbk转utf8神器

mysql

NodeJS的MySQL驱动模快,我用它实现了一个非常简易的ORM

bluebird

API Promise化,便于使用async/await进行流程控制

cron

任务调度模快

项目地址见Github


codebeast
51 声望0 粉丝