最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:
1、python的安装
进入python的官网https://www.python.org/,点击downloads选项进入下载页,如图:
根据自己的机型,选择下载对应的安装包,我下载的是python 3.5.3版本的:
选定下载位置,傻瓜式一键安装即可。实际上,32位和64位的版本安装起来没有区别,双击打开后,第一步要记得勾上add python to Path 选项,这样的好处是自动配置环境变量
可在命令提示符中用命令python --version,验证安装是否成功:
到此,python已经安装好了!!!是不是hin简单~接下来安装scrapy吧^-^
2、scrapy的安装
先安装pywin32,进入https://sourceforge.net/proje...,下载与已安装python版本对应的pywin64安装包,例如python3.4 64位对应的安装包为pywin32-218.win-amd64-py3.4.exe,下载完成后一直next安装,依然是傻瓜式安装法
检查安装结果,在python命令行输入import win32api,如果没有报错说明安装完成,如果报错说明PYTHONPATH环境变量没有配置
配置PYTHONPATH环境变量,将python安装目录下lib目录中的site-packages路径添加到PYTHONPATH环境变量,再次检验安装结果
安装Twisted,进入http://www.lfd.uci.edu/~gohlk...下载对应twisted和lxml
打开命令提示符窗口,输入命令:
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径),盗一下别人的图
再输入命令:pip --version,检查安装是否成功
3、pip的安装,估计因为我安装的版本自动配置环境变量,所以我好像没有下载pip,就可以用pip命令
如图:
但是,如果安装pip的话,同样要去python的官网下载,下载地址是https://pypi.python.org/pypi/... ,选择相应版本下载,下载完成之后,解压到文件夹。在该文件夹的目录下使用控制台命令:输入python setup.py install;并添加入环境变量。
好啦!一切准备工作就绪,现在开始安装scrapy~
twisted库安装成功后,安装scrapy就简单了,在命令提示符窗口直接输入命令: pip install scrapy 回车
现在一切都搞定了,可以新建一个Scrapy测试,敲一个基于Scrapy框架的爬虫程序咯。
心得:Windows下的安装过程还是很麻烦的,因为有很多依赖要添加,不过在各方查找资料以后仿佛就不是那么难了!一步一步在cmd中运行测试,还要看错误提示,少哪一个依赖就下载哪一个安装哪一个!环境框架已经搭好,接下来就是学习如何写爬虫程序了。
再贴两个链接吧:
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。