本文描述方法由于2016年年初官方网站升级,固不可重现。
背景
最近兴起的互联网+教育,导致了很多在线学习网站的诞生,但是由于很多开发者图方便,网站安全措施做的不规范,导致很多课程资源不够安全。个人理解,对于一个按课程付费为主要收入的在线学习网站,课程就是变现的全部家当,如果安全措施做得不到位,那前期收集视频教程的钱算是打水漂了。
一次偶然发现
搜视频教程的时候偶然发现一个叫“麦。。院”的it在线教育平台。该平台权限提升与否与可看视频没有关联,导致从html里可以通过mp4下载,而绕过前端js判断的用户权限。不过值得表扬的是用js控制html5视频加速播放。
▼前端静态页面
所以,可以通过一些简单的网络爬虫进行抓取该课程网站的所有教程。
这个网络把钱分成四步:
▼第一步,获取课程的分类
▼第二步,获取课程的章节
▼第三步,获取课程的视频链接(保险起见先迅雷download下来)
▼第四步,从链接中获取mp4后缀以及对应的文件名
▼第五步,迅雷带你飞(最多支持1000条任务,还得分批。。。)
总结
没有多线程和智能化爬虫没什么技术含量,无非是http,正则的组合。不过有了这些视频教程,感觉又能提升一个学术档次。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。