用scrapy对谷粉搜搜的搜索结果抓取，[ ],什么原因？

Question

straturl:
http://www.gfsoso.com/scholar?q=zhengzhong+zhang

抓取title都返回[]，更别说抓内容了；

但抓取百度是好的；

其中，gfsoso是谷歌的镜像网站，镜像对爬虫不够友好吗？

Answer 1

查看了一下页面源码，发现内容基本上都是js动态生成的，所以，抓到的当然为空啦

Answer 2

这种情况爬虫起码得用phantomJS来写了

Answer 3

http://www.gfsoso.org/911/ 建议楼主看看这个，不知道你作何感想？

Answer 4

既然您有如此的技术和时间，为何不去爬取谷歌而去爬取它的一个镜像呢？