python 爬去js动态生成的页面，如今日头条？

Question

Python 爬去网页数据，如今日头条，

Answer 1

最直接的方法，解析js, 模拟浏览器发送各种请求，然后获取服务器返回的结果就行.
我刚刚看了看，服务器返回的都是json数据，很好解析.如下图是发送的请求，有的变量是动态的，需要特殊处理。

下面这个图是发送请求的服务器返回的结果：

至于python发送请求的东西，urllib,urllib2俩库就足够了。可以在网上查