最近开始学习爬虫,于是准备安装一个Scrapy框架,本着自己长期以来安装任何东西都会遇到特殊情况的心理,一开始就做好了准备,可是还是有一些方。
python3.5以后是默认安装好的pip和esay_install(setuptool),最初在使用python安装scrapy一开始在官网上下载好压缩文件,直接在cmd下进入存放目录利用如下命令本地安装:

python setup.py install

这时在安装快要完成时弹出一个错误

error: unable to find vcvarsall.bat

中途我百度了很多方法:

  • 下载vs2008,或者2010之后再修改SET VS90COMNTOOLS=%VS100COMNTOOLS%或者修改lib中distutils文件中的msvc9compiler的文件(亲测不行)
  • 以及一种安装MinGW指定编译器为mingw32这种方法(没试过,比较复杂,见有人改了不行)

但都没有很好的解决问题,于是我采用了pip快捷安装的方式,最终也会曝出一连串莫名其妙的错误,后来我在网上找到了一种方法成功解决了问题,步骤如下:

  1. http://www.lfd.uci.edu/~gohlk...(建议放入python安装目录,根据自己编译器的版本及架构数选择:其中cp后面代表python版本数,如cp35及代表对应pthon3.5;win32或64根据你安装的python位数决定,最好一致,我当时没安装上就是因为位数不同)
  2. 在cmd进入存放目录安装lxml和Twisted:

    pip install wheel
    pip install lxml.whl
    pip install Twisted.whl
  3. 之后再进入scrapy的安装目录,运用一开始的easy_install安装,如果不报错,则安装完成。之后import scrapy scrapy.__version__()测试
  4. 如果遇到pyasnl no found...错误,按如下解决:

    pip install pyopenssl ndg-httpsclient pyasn1

郑亚军
5 声望0 粉丝

引用和评论

0 条评论