爬虫下载Coursera视频，提取的页面全是JavaScript代码怎么解决？

Question

最近在看coursera上的视频，但是字幕还没翻译成中文，所以想下载视频后搭配着网上下载的字幕看。但是下载视频需要一个一个点，太麻烦了，所以就想着可不可以用爬虫来下载。

目前已经可以模拟登陆网站了，但是接下来的问题是我准备获取一个页面(比如：https://www.coursera.org/lear...的代码来提取其中的下载链接，但是我看了一下获取的html代码只有JavaScript。。。这个该怎么解决？

而且Coursera的网站结构也做了很大的改变，网上很多文章都不适用了。。。。

Answer 1

你需要考虑你看到的这个页面的数据绑定是在后台还是前端。如果是后台的话你直接获取这个页面然后解析这个页面即可；如果是在前端进行的话，你就要去观察他的http请求甚至要去看他的页面逻辑来获取你想要的内容了。

Answer 2

1.对于这种js生成的代码我是没爬过的.
2.根据爬取速度、成本等选择合适方式才是较好的.
3.推荐的参考内容:http://cuiqingcai.com/2577.html

Answer 3

推荐 pyv8