升级Python
依赖包安装
yum install -y python-devel gcc gcc-c++ libffi-devel zlib zlib-dev openssl-devel sqlite-devel bzip2-devel
# 下载Python-2.7.4
wget http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz
# 安装
tar -xvf Python-2.7.4.tgz
cd Python-2.7.4
./configure --prefix=/usr/local/python2.7
make
make install
# 创建链接来使系统默认python变为python2.7
ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
# 查看Python版本
python –V
# 修改yum配置(否则yum无法正常运行)
vim /usr/bin/yum
将第一行的#!/usr/bin/python修改为系统原有的python版本地址#!/usr/bin/python2.6
安装pip
# 直接用yum命令安装 python-pip
yum install python-pip
安装scrapy
# 安装scrapy
pip install scrapy
# 创建软连接
ln -s /usr/local/python2.7/bin/scrapy /usr/bin/
安装MySQLdb的组件
pip install MySQL-python
创建项目
scrapy startproject 项目名称
# 创建测试代码
scrapy genspider dmoz_spider dmoz.org
# 运行
scrapy crawl 项目中name的名字
常见错误
# Twisted TLSVersion的问题
错误:twisted/internet/_sslverify.py", line 38, in TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'
修复:降低Twsited的版本号
sudo pip install Twsited==16.4.1
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。