网页抓取：selenium or X ?

Question

有个需求是从一个网站上去抓取数据，但是这个网站貌似限制了爬虫，所以写 python 的人用 selenium 这个东西的 webdriver（我不太懂）去实现的。在本地（win7）测试没问题。但运行时会打开 firefox 图形界面。

问题来了。上传到服务器(centos)，修改配置，像 FirefoxBinary 这个还好说，关键是 FirefoxProfile 这个完全搞不起来。开始是不知道在哪，gg了一下自己准备创建一个，但，貌似是没有安装图形界面的缘故，创建失败，如图：

我该怎么办？
1. 继续搞这个 profile（给服务器安装图形界面？）
2. 让 python coder 重新想办法？

---

说明：

更新了下标题，其实我不是问怎么装图形界面。而是分析两种方案的优劣，以及有没有更好的办法？

Answer 1

CentOS可以装图形界面。

不过selenium支持headless模式，没有必要为跑selenium装图形界面，额外占用内存。只需要装一个xvfb，配置一下即可。

Answer 2

试试Phantomjs，支持多平台，无需图形界面。

Answer 3

网站怎么限制爬虫的？

如果基于header，就模拟下你浏览器的header。如果限制抓取频率，就自己控制下。

如果是需要运行js，scrapy+splash也行。

selenium+phantomjs也行。好像略暴力。

Answer 4

是不是需要装Qt 你没有装

Answer 5

问题被修改，我就隐藏原答案吧
//////////////////////
如果追求轻量化，个人更推荐 XFCE
本人愚见，LXDE有些 过于朴素 了，不是很喜欢，但也值得尝试
yum groupinstall "Xfce"

Answer 6

装个Gnome吧:

yum groupinstall "Desktop"
yum groupinstall "X Window System"
yum groupinstall "Chinese Support"
startx

http://my.oschina.net/debi/blog/75929