2

koa2-cet

前言

可能很多人都已经写过爬虫了,但是不一定都知道superagent这个爬虫利器,写这篇文章的目的是通过一个具体项目,推荐大家以后写爬虫的时候可以用用superagent,真的超级好用。

介绍

这是一个基于Koa2和superagent实现的英语四六级成绩查询系统,项目使用superagent爬取学信网的数据,然后使用cheerio解析数据,最后将爬取到的结果以JSON或者JSONP的方式返回给前台。

预览

在线预览地址: https://cet.lenshen.com
源码:https://github.com/lensh/koa2...

测试用户:
姓名:汪磊
准考证号:360021162100112

技术栈

Angular:实现前端页面构建
Koa2:实现服务端具体业务逻辑
ES6、ES7、ES8:服务端使用ES6语法,promise/async/await 处理异步
superagent:爬虫的核心,进行模拟请求
cheerio:解析DOM结构,爬取需要的数据
cors:服务端返回数据时做了cors设置,允许跨域
jsonp:支持JSONP请求,客户端需要传入回调函数名称
pm2:服务端使用pm2部署,常驻进程,比forever好用得多(https://github.com/Unitech/pm2

API接口

本系统免费提供API接口,具体接口如下所示:

URL: https://cet.lenshen.com/api/search?user=姓名&number=准考证号
参数说明:
    user  姓名
    number  准考证号
请求方式: GET
请求成功返回json:
{ 
    "code":200,
    "message":"查询成功",
    "data":{ 
          "name":"张三",   //姓名
          "school":"南昌大学",  //学校
          "type":"英语六级",  //考试类别
          "number":"360021162347654",  //准考证号
          "total":"530",   //总分
          "listen":"170",   //听力
          "read":"200",  //阅读
          "writing":"160"  //写作和翻译
    }
}
请求失败返回json:
{ 
    "code":400,
    "message":"查询失败,请检查你的信息是否无误"
}

注意:以上接口可以使用后台代理请求数据,也可以使用ajax请求数据(因为设置了cors)

如果使用JSONP,则需要在url里传入callback:

URL:https://cet.lenshen.com/api/search?callback=cb&&number=准考证号&user=姓名
参数说明:  
    callback  回调函数名称
    user  姓名 
    number  准考证号
请求方式: GET
请求成功返回jsonp:
cb({
    "code":200,
    "message":"查询成功",
    "data":{ 
          "name":"张三",   //姓名
          "school":"南昌大学",  //学校
          "type":"英语六级",  //考试类别
          "number":"360021162347654",  //准考证号
          "total":"530",   //总分
          "listen":"170",   //听力
          "read":"200",  //阅读
          "writing":"160"  //写作和翻译
    }
})
请求失败返回jsonp:
cb({ 
    "code":400,
    "message":"查询失败,请检查你的信息是否无误"
})

最后

如果觉得这个项目还不错的话,那就毫不吝啬地给个star吧。


莫知我哀
184 声望20 粉丝

引用和评论

0 条评论