koa2-cet
前言
可能很多人都已经写过爬虫了,但是不一定都知道superagent这个爬虫利器,写这篇文章的目的是通过一个具体项目,推荐大家以后写爬虫的时候可以用用superagent,真的超级好用。
介绍
这是一个基于Koa2和superagent实现的英语四六级成绩查询系统,项目使用superagent爬取学信网的数据,然后使用cheerio解析数据,最后将爬取到的结果以JSON或者JSONP的方式返回给前台。
预览
在线预览地址: https://cet.lenshen.com
源码:https://github.com/lensh/koa2...
测试用户:
姓名:汪磊
准考证号:360021162100112
技术栈
Angular:实现前端页面构建
Koa2:实现服务端具体业务逻辑
ES6、ES7、ES8:服务端使用ES6语法,promise/async/await 处理异步
superagent:爬虫的核心,进行模拟请求
cheerio:解析DOM结构,爬取需要的数据
cors:服务端返回数据时做了cors设置,允许跨域
jsonp:支持JSONP请求,客户端需要传入回调函数名称
pm2:服务端使用pm2部署,常驻进程,比forever好用得多(https://github.com/Unitech/pm2)
API接口
本系统免费提供API接口,具体接口如下所示:
URL: https://cet.lenshen.com/api/search?user=姓名&number=准考证号
参数说明:
user 姓名
number 准考证号
请求方式: GET
请求成功返回json:
{
"code":200,
"message":"查询成功",
"data":{
"name":"张三", //姓名
"school":"南昌大学", //学校
"type":"英语六级", //考试类别
"number":"360021162347654", //准考证号
"total":"530", //总分
"listen":"170", //听力
"read":"200", //阅读
"writing":"160" //写作和翻译
}
}
请求失败返回json:
{
"code":400,
"message":"查询失败,请检查你的信息是否无误"
}
注意:以上接口可以使用后台代理请求数据,也可以使用ajax请求数据(因为设置了cors)
如果使用JSONP,则需要在url里传入callback:
URL:https://cet.lenshen.com/api/search?callback=cb&&number=准考证号&user=姓名
参数说明:
callback 回调函数名称
user 姓名
number 准考证号
请求方式: GET
请求成功返回jsonp:
cb({
"code":200,
"message":"查询成功",
"data":{
"name":"张三", //姓名
"school":"南昌大学", //学校
"type":"英语六级", //考试类别
"number":"360021162347654", //准考证号
"total":"530", //总分
"listen":"170", //听力
"read":"200", //阅读
"writing":"160" //写作和翻译
}
})
请求失败返回jsonp:
cb({
"code":400,
"message":"查询失败,请检查你的信息是否无误"
})
最后
如果觉得这个项目还不错的话,那就毫不吝啬地给个star吧。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。