用python写爬虫的时候，对于js的页面内容如何抓取

Question

自己先搜了一下，发现要解析js就必须得用一个js解析器，或者直接使用webkit这样的网页解析，但都没有成熟的做法， 想问一下是否有开源的较成熟的解决方案？

Answer 1

当然有。搜索关键词“Headless browser”

比如http://phantomjs.org/

Answer 2

必须是 http://jeanphix.me/Ghost.py/

ghost.py is a webkit web client written in python.

Answer 3

SF五大月经贴之JS动态页面的抓取：http://segmentfault.com/q/1010000000581910#a-1020000000582320

Answer 4

其实你分析一下js，完全不必用那些环境。

Answer 5

spidermonkey

Answer 6

QPython上面怎么获取js加载后的内容？