1

最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:

1、python的安装

进入python的官网https://www.python.org/,点击downloads选项进入下载页,如图:

图片描述

根据自己的机型,选择下载对应的安装包,我下载的是python 3.5.3版本的:

图片描述

选定下载位置,傻瓜式一键安装即可。实际上,32位和64位的版本安装起来没有区别,双击打开后,第一步要记得勾上add python to Path 选项,这样的好处是自动配置环境变量

clipboard.png

可在命令提示符中用命令python --version,验证安装是否成功:

clipboard.png

到此,python已经安装好了!!!是不是hin简单~接下来安装scrapy吧^-^


2、scrapy的安装

先安装pywin32,进入https://sourceforge.net/proje...,下载与已安装python版本对应的pywin64安装包,例如python3.4 64位对应的安装包为pywin32-218.win-amd64-py3.4.exe,下载完成后一直next安装,依然是傻瓜式安装法

clipboard.png

检查安装结果,在python命令行输入import win32api,如果没有报错说明安装完成,如果报错说明PYTHONPATH环境变量没有配置

clipboard.png

配置PYTHONPATH环境变量,将python安装目录下lib目录中的site-packages路径添加到PYTHONPATH环境变量,再次检验安装结果

clipboard.png

安装Twisted,进入http://www.lfd.uci.edu/~gohlk...下载对应twisted和lxml

clipboard.png

clipboard.png

打开命令提示符窗口,输入命令:
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径),盗一下别人的图

clipboard.png
再输入命令:pip --version,检查安装是否成功

clipboard.png

3、pip的安装,估计因为我安装的版本自动配置环境变量,所以我好像没有下载pip,就可以用pip命令

如图:

clipboard.png

但是,如果安装pip的话,同样要去python的官网下载,下载地址是https://pypi.python.org/pypi/... ,选择相应版本下载,下载完成之后,解压到文件夹。在该文件夹的目录下使用控制台命令:输入python setup.py install;并添加入环境变量。

clipboard.png


好啦!一切准备工作就绪,现在开始安装scrapy~

twisted库安装成功后,安装scrapy就简单了,在命令提示符窗口直接输入命令: pip install scrapy 回车

clipboard.png

现在一切都搞定了,可以新建一个Scrapy测试,敲一个基于Scrapy框架的爬虫程序咯。

心得:Windows下的安装过程还是很麻烦的,因为有很多依赖要添加,不过在各方查找资料以后仿佛就不是那么难了!一步一步在cmd中运行测试,还要看错误提示,少哪一个依赖就下载哪一个安装哪一个!环境框架已经搭好,接下来就是学习如何写爬虫程序了。
再贴两个链接吧:
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...


elva
66 声望1 粉丝

爱国 敬业 诚信 友善