用Node.js写了一个爬虫,可以获取GitHub各种编程语言star数前十的库
在线地址: http://www.flypie.cn:9999/
GitHub地址:
技术栈
后端框架 koa
数据获取 axios获取数据 cheerio抓取数据
数据存储可选本地json存储或redis存储
node-schedule 开启定时任务抓取数据并更新本地存储
前端用vue2.0和MintUI进行数据展示和操作
功能
我闲的没事的时候经常逛GitHub,看看现在star排行榜上靠前的库,
于是干脆做了一个小爬虫来定时抓取GitHub上star数前十的库,
然后根据编程语言进行选择浏览,功能很简单,大概做了一天时间。
主要时间都花在调试,因为GitHub防爬虫做的很好,
如果发送请求过多过快会被封或返回429错误(429表示请求过于频繁)。
最后放个项目截图:
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。