本文描述方法由于2016年年初官方网站升级,固不可重现。

背景

最近兴起的互联网+教育,导致了很多在线学习网站的诞生,但是由于很多开发者图方便,网站安全措施做的不规范,导致很多课程资源不够安全。个人理解,对于一个按课程付费为主要收入的在线学习网站,课程就是变现的全部家当,如果安全措施做得不到位,那前期收集视频教程的钱算是打水漂了。

一次偶然发现

搜视频教程的时候偶然发现一个叫“麦。。院”的it在线教育平台。该平台权限提升与否与可看视频没有关联,导致从html里可以通过mp4下载,而绕过前端js判断的用户权限。不过值得表扬的是用js控制html5视频加速播放。

▼前端静态页面
clipboard.png

所以,可以通过一些简单的网络爬虫进行抓取该课程网站的所有教程。

这个网络把钱分成四步:

▼第一步,获取课程的分类
clipboard.png

▼第二步,获取课程的章节
clipboard.png

clipboard.png

▼第三步,获取课程的视频链接(保险起见先迅雷download下来)
clipboard.png

▼第四步,从链接中获取mp4后缀以及对应的文件名
clipboard.png

▼第五步,迅雷带你飞(最多支持1000条任务,还得分批。。。)
clipboard.png

总结

没有多线程和智能化爬虫没什么技术含量,无非是http,正则的组合。不过有了这些视频教程,感觉又能提升一个学术档次。


seasonley
607 声望693 粉丝

一切皆数据