SAE运行爬虫，BeautifulSoup无法加载lxml?

Question

整个代码在本地没有问题，当上传到SAE后就出现错误。

然后我又把lxml库上传到了根目录下的site-packages中，结果仍然如此。

我个人猜测是BeautifulSoup在使用这个解析器并不是简单的导入lxml模块

Answer 1

我看了BeautifulSoup的源码，一路追溯，发现确实是因为有包没有导入。如果BeautifulSoup用html5lib来解析，一共需要导入BeautifulSoup的包，html5lib的包，在html5lib中又导入了six.px和warings.py。由于在BeautifulSoup中用try...catch...导入html5lib相关的包的。所以即便没有那个six.py和warings.py，也没有给出具体的提示。

Answer 2

JR你好！

在本地用virtualenv安装bs4看看，看看是不是安装了其它的包。然后把所有的包上传吧。

Answer 3

在 index.wsgi 中，把 sitepackages 加入 sys.path

Answer 4

可以用的吧，我就是用的lxml。