折腾了几天的WechatScraper终于部署到Linux服务器上能生产使用了
用篇文章来记录下部署过程中遇到的各种bug和坑。
1. 运行问题
webdriver在有GUI界面的系统上运行是只需要下载chromedriver或者geckodriver等就能直接带动浏览器运行,只需要创建一个浏览器实例就行了
from selenium import webdriver
broswer = webdriver.Chrome(executable_path=/path/to/chromedriver, chrome_options)
在有些不带GUI界面的Linux机器上,如果想要使用webdriver,首推的方案是Python+Selenium+PhantomJS,PhantomJS是一个无头浏览器,即使没有GUI界面也能正常运行,常用于测试等环境。
因为没有GUI,如果我们想使用Chrome/Firefox等浏览去,我们就需要Xvfb和python的pyvirtualdisplay库,给浏览器创造一个运行环境,这样浏览器就能顺利运行了。
注:实际检测,PhantomJS在获取搜索结果的时候跟Firefox/Chrome差别很大,具体原因不太清楚,希望有人能解惑。
2. Executable path
这个常见的报错是
the path to the driver executable must be set blabla...
当webdriver调起浏览器时,需要在系统路径中找到geckodriver或者chromedriver这些能操控浏览器的驱动,所以我们需要将这些文件复制到/usr/bin
或者/usr/local/bin
或者/usr/sbin
这几个文件夹下,这样才能让webdriver顺利调起浏览器供我们使用。
3. chrome not reachable
这个报错比较奇怪,而且当直接去以
cd /path/to/chromedriver && ./chromedriver
这个命令执行的时候,会报错glibc-版本号
未安装,这个猜测是因为版本不匹配导致的,因为我后来换了低版本的chromedriver是可以直接运行的,所以如果你的系统上glibc版本不高的话,建议使用低版本的chrome和chromedriver。
结语
暂时想到的就这几个,如果有什么问题,可以直接在评论区回复,如果有其它解决方案或者错误之处,欢迎指出。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。