关于近期爬虫学习的总结

在之前的三篇文章中，我尝试了使用python爬虫实现的对于特定站点的《剑来》小说的爬取，对于豆瓣的短评的爬取，也有对于爬取的短评数据进行的词云展示，期间运用了不少的知识，现在是时间回顾一下。在此之后，我会再关注一些爬虫框架的使用，以及更多的爬虫的优化方法，争取做到尽量多的吸收新知识，巩固旧知识。

在参考文章爬虫（1）--- Python网络爬虫二三事的基础上，我写了这篇文章。

这篇文章主要的目的有两个，收集新知识，巩固旧知识。

关于爬虫背后的（这一节是主要是http的概要，下一节是我的一些总结）

要想不限于代码表面，深入理解爬虫，就得需要了解一些关于网络的知识。

HTTP 协议

HTTP（Hypertext Transfer Protocol）是应用级协议，它适应了分布式超媒体协作系统对灵活性及速度的要求。它是一个一般的、无状态的、基于对象的协议。

可以参考的文章：

想要细致了解协议的可以查看：

• 中文 HTTP/1.0 RFC文档目录
• 深入理解HTTP协议（转）
• HTTP协议详解（真的很经典）
• HTTP请求方法大全 & HTTP请求头大全 & HTTP状态码大全 & HTTP Content-type 对照表

一些术语

• 请求（request）：HTTP的请求消息
• 响应（response）：HTTP的回应消息
• 资源（resource）：网络上可以用URI来标识的数据对象或服务。URI有许多名字，如WWW地址、通用文件标识（Universal Document Identifiers）、通用资源标识（Universal Resource Identifiers），以及最终的统一资源定位符（Uniform Resource Locators (URL)）和统一资源名（URN）。
• 实体（entity）：可被附在请求或回应消息中的特殊的表示法、数据资源的表示、服务资源的回应等，由实体标题（entity header）或实体主体（entity body）内容形式存在的元信息组成。
• 客户端（client）：指以发出请求为目的而建立连接的应用程序。
• 用户代理（user agent）：指初始化请求的客户端，如浏览器、编辑器、蜘蛛（web爬行机器人）或其它终端用户工具。用户代理请求标题域包含用户原始请求的信息，这可用于统计方面的用途。通过跟踪协议冲突、自动识别用户代理以避免特殊用户代理的局限性，从而做到更好的回应。虽然没有规定，用户代理应当在请求中包括此域。
• 服务器（server）：指接受连接，并通过发送回应来响应服务请求的应用程序。
• 代理（proxy）：同时扮演服务器及客户端角色的中间程序，用来为其它客户产生请求。请求经过变换，被传递到最终的目的服务器，在代理程序内部，请求或被处理，或被传递。代理必须在消息转发前对消息进行解释，而且如有必要还得重写消息。代理通常被用作经过防火墙的客户端出口，用以辅助处理用户代理所没实现的请求。
  

任何指定的程序都有能力同时做为客户端和服务器。我们在使用这个概念时，不是看程序功能上是否能实现客户及服务器，而是看程序在特定连接时段上扮演何种角色（客户或服务器）。同样，任何服务器可以扮演原始服务器、代理、网关、隧道等角色，行为的切换取决于每次请求的内容。

简单流程

HTTP协议是基于请求/回应机制的。客户端与服务器端建立连接后，以请求方法、URI、协议版本等方式向服务器端发出请求，该请求可跟随包含请求修饰符、客户信息、及可能的请求体（body）内容的MIME类型消息。服务器端通过状态队列（status line）来回应，内容包括消息的协议版本、成功或错误代码，也跟随着包含服务器信息、实体元信息及实体内容的MIME类型消息。

绝大多数HTTP通讯由用户代理进行初始化，并通过它来组装请求以获取存储在一些原始服务器上的资源。

一次HTTP操作称为一个事务，综上，其工作过程可分为四步：

1. 首先客户机与服务器需要建立连接。只要单击某个超级链接，HTTP的工作开始。
2. 建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URL）、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。
3. 服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。
4. 客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客户机与服务器断开连接。

如果在以上过程中的某一步出现错误，那么产生错误的信息将返回到客户端，有显示屏输出。对于用户来说，这些过程是由HTTP自己完成的，用户只要用鼠标点击，等待信息显示就可以了。

HTTP 消息（HTTP Message）

HTTP消息由客户端到服务器的请求和由服务器到客户端的回应组成。

HTTP-message   = Simple-Request                ; HTTP/0.9 messages
                    | Simple-Response
                    | Full-Request          ; HTTP/1.0 messages
                    | Full-Response

完整的请求（Full-Request）和完整的回应（Full-Response）都使用RFC822中实体传输部分规定的消息格式。两者的消息都可能包括标题域（headers，可选）、实体主体（entity body）。实体主体与标题间通过空行来分隔（即CRLF前没有内容的行）。

Full-Request        = Request-Line
                        *( General-Header
                        | Request-Header
                        | Entity-Header )
                        CRLF
                        [ Entity-Body ]

Full-Response          = Status-Line            
                        *( General-Header
                        | Response-Header    
                        | Entity-Header )    
                        CRLF
                        [ Entity-Body ]            

（想要了解更多，可以前往中文 HTTP/1.0 RFC文档目录 ）

代码实现的流程

从我之前的代码中可以从一些方法中看出，我们利用urllib库，实际上完成了请求，并接受了响应。通过我们自己构造（例如添加headers）或者使用默认的请求信息，利用了urllib库的request模块的Request()方法构造请求，利用urlopen()方法接受响应返回的页面代码。

至于我们的爬虫工作的过程，在这里盗用(http://www.jianshu.com/p/0bfd...）一张图片：

爬虫是一个综合性的工具

在实现爬虫的过程中，为了实现我们的目的，我们借助了各种各样的工具。浏览器的开发者工具，正则表达式，以及python的各种功能库。可谓是无所不用其极。但是，对于这些工具，我们实际上用到的功能，目前来看，其实并不多，核心代码就是那点而已，所以说，抽离出汇总起来，日后重新使用，一旦对于这个工具不再熟悉，回过头来看这些小小的片段，总是会省下很多的时间。

所以，这篇文章的核心内容就要来了。

获取URL

这里可以借助浏览器的产看网页源代码，查看元素等开发者工具，且快捷键一般是F12。

获取页面及异常处理

常用的是利用urllib库。在python3中，没有了原来2中的urllib2，而是用urllib包含了。

主要是用urllib.request.Request()&urllib.request.urlopen()

urllib.request

urllib is a package that collects several modules for working with URLs:

urllib.request  
    for opening and reading URLs
urllib.error 
    containing the exceptions raised by urllib.request
urllib.parse 
    for parsing URLs
urllib.robotparser 
    for parsing robots.txt files

import urllib.request
import urllib.error
import traceback
import sys

url = "..."
try: 
    request = urllib.request.Request(url)
    html = urllib.request.urlopen(request).read().decode("")# 按情况解码
    print(html) 
except urllib.error.URLError as error_1: 
    if hasattr(error_1,"code"): 
        print("URLError异常代码：") 
        print(error_1.code) 
    if hasattr(error_1,"reason"): 
        print("URLError异常原因：") 
        print(error_1.reason)
except urllib.error.HTTPError as error_2: 
    print("HTTPError异常概要：")
    print(error_2)
except Exception as error_3: 
    print("异常概要：") 
    print(error_3) 
    print("---------------------------") 
    errorInfo = sys.exc_info() 
    print("异常类型："+str(errorInfo[0])) 
    print("异常信息或参数："+str(errorInfo[1])) 
    print("调用栈信息的对象："+str(errorInfo[2])) 
    print("已从堆栈中“辗转开解”的函数有关的信息："+str(traceback.print_exc()))

作者：whenif
链接：http://www.jianshu.com/p/0bfd0c48457f
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

URLError
通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。

HTTPError
首先我们要明白服务器上每一个HTTP 应答对象response都包含一个数字“状态码”，该状态码表示HTTP协议所返回的响应的状态，这就是HTTPError。比如当产生“404 Not Found”的时候，便表示“没有找到对应页面”，可能是输错了URL地址，也可能IP被该网站屏蔽了，这时便要使用代理IP进行爬取数据。

两者关系

两者是父类与子类的关系，即 HTTPError是URLError的子类，HTTPError有异常状态码与异常原因，URLError没有异常状态码。所以，我们在处理的时候，不能使用URLError直接代替HTTPError。同时，Python中所有异常都是基类Exception的成员，所有异常都从此基类继承，而且都在exceptions模块中定义。如果要代替，必须要判断是否有状态码属性。

异常处理有还有else&finally可以选择。

伪装浏览器

添加头信息。可以在浏览器的开发者工具中的网路选项卡中点击对应的html页面查看请求报文和相应报文信息。一般的，只需添加用户代理信息即可。

import urllib.request
url = 'http://www.baidu.com'
# 构造方法1
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0'}
request = urllib.request.Request(url, headers = headers)
data = urllib.request.urlopen(request).read().decode('utf-8')

# 构造方法2
headers=("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36") 
opener = urllib.request.build_opener()
opener.addheaders = [headers]
# # 打开方法1
data = opener.open(url, timeout=3).read().decode('utf-8')
# 打开方法2
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read().decode('utf-8')

print(data)

class urllib.request.Request(url[, data][, headers][, origin_req_host][, unverifiable])

data 数据可以是指定要发送到服务器的附加数据的字符串，如果不需要这样的数据，则为None。目前HTTP请求是唯一使用数据的请求; 当提供数据参数时，HTTP请求将是POST而不是GET。 数据应该是标准的 application/x-www-form-urlencoded 格式。urllib.parse.urlencode()函数采用映射或2元组的序列，并以此格式返回一个字符串。

headers 应该是一个字典，并且将被视为使用每个键和值作为参数调用 add_header()。 这通常用于“欺骗”用户代理头，浏览器使用它来识别自己 - 一些HTTP服务器只允许来自普通浏览器的请求而不是脚本。

时间问题

超时重连

有时候网页请求太过频繁，会出现长时间没有响应的状态，这时候一般需要设置超时重连。下面是一个例子片段

import urllib.request
import socket

url = "..."
NET_STATUS = False
while not NET_STATUS:
    try:
        response = urllib.request.urlopen(url, data=None, timeout=3)
        html = response.read().decode('GBK')
        print('NET_STATUS is good')
        return html
    except socket.timeout:
        print('NET_STATUS is not good')
        NET_STATUS = False


# 也可以直接设置全局超时进行捕获，用的还是`socket.timeout`异常
import socket

timeout = 3
socket.setdefaulttimeout(timeout)

线程延迟

线程推迟（单位为秒），避免请求太快。

import time
time.sleep(3)

页面解析

目前掌握的方法是使用正则表达式和bs库。当然，之后会了解下XPath，这个也提供了一种搜索的思路。

正则匹配

这个用的函数并不多。有两种书写方式，面向对象和

import re
pattern = re.compile('[a-zA-Z]')
result_list = pattern.findall('as3SiOPdj#@23awe')
print(result_list)

# re.search 扫描整个字符串并返回第一个成功的匹配。 
searchObj = re.search( r'(.*) are (.*?) .*', "Cats are smarter than dogs", re.M|re.I)
print(searchObj.group())# Cats are smarter than dogs
print(searchObj.group(1))# Cats
print(searchObj.groups())# ('Cats', 'smarter')

python3正则表达式

beautifulsoup4

Python利用Beautiful Soup模块搜索内容详解

我个人感觉，这个库的使用，主要难点在于搜索时的麻烦。我觉得比较好用的是方法find()&find_all()&select()。

使用 find() 方法会从搜索结果中返回第一个匹配的内容，而 find_all() 方法则会返回所有匹配的项，返回列表。

select()中可以使用CSS选择器。很方便可以参考浏览器开发者工具。

from bs4 import BeautifulSoup
# 可以获取验证码图片地址并下载图片
soup = BeautifulSoup(response_login, "html.parser")
captchaAddr = soup.find('img', id='captcha_image')['src']
request.urlretrieve(captchaAddr, "captcha.jpg")
...
totalnum = soup.select("div.mod-hd h2 span a")[0].get_text()[3:-2]

文件读写

# 要读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数
with open(filename, 'w+') as open_file:
    ...

# 遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略
with open(filename, 'r', encoding='gbk', errors='ignore') as open_file:
    all_the_text = open_file.read([size])
    list_of_all_the_lines = open_file.readlines()
    open_file.write(all_the_text)
    open_file.writelines(list_of_text_strings)

登录信息

我们构造好 POST 请求，这一旦发送过去, 就登陆上了服务器, 服务器就会发给我们 Cookies。继续保持登录状态时，就需要借助相关的库的方式，可以简化处理。

Cookies 是某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。

from urllib import request
from urllib import parse
from http import cookiejar

main_url = '...'
formdata = {
    # 看网站post页面需求

    "form_email":"你的邮箱",
    "form_password":"你的密码",
    "source":"movie",
    "redir":"https://movie.douban.com/subject/26934346/",
    "login":"登录"
}
user_agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
headers = {'User-Agnet': user_agent, 'Connection': 'keep-alive'}

cookie = cookiejar.CookieJar()
cookie_support = request.HTTPCookieProcessor(cookie)
opener = request.build_opener(cookie_support)
data = parse.urlencode(formdata).encode('utf-8')

req_ligin = request.Request(url=main_url, data=data, headers=headers)
html = opener.open(req_ligin).read().decode('utf-8')
print(html)

代理

有一种反爬虫策略就是对IP进行封锁。所以我们有时需要设置代理。

原理：代理服务器原理如下图，利用代理服务器可以很好处理IP限制问题。

一般都是利用互联网上提供的一些免费代理IP进行爬取，而这些免费IP的质量残次不齐，出错是在所难免的，所以在使用之前我们要对其进行有效性测试。另外，对开源IP池有兴趣的同学可以学习Github上的开源项目：IPProxyPool。

import urllib.request
def use_proxy(url,proxy_addr,iHeaders,timeoutSec):
  '''
  功能：伪装成浏览器并使用代理IP防屏蔽
  @url：目标URL
  @proxy_addr：代理IP地址
  @iHeaders：浏览器头信息
  @timeoutSec：超时设置（单位：秒）
  '''
  proxy = urllib.request.ProxyHandler({"http":proxy_addr})
  opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
  urllib.request.install_opener(opener)
  try:
      req = urllib.request.Request(url,headers = iHeaders)  #伪装为浏览器并封装request
      data = urllib.request.urlopen(req).read().decode("utf-8","ignore")  
  except Exception as er:
      print("爬取时发生错误，具体如下：")
      print(er)
  return data    
url = "http://www.baidu.com"
proxy_addr = "125.94.0.253:8080"
iHeaders = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0"}
timeoutSec = 10
data = use_proxy(url,proxy_addr,iHeaders,timeoutSec)
print(len(data))

作者：whenif
链接：http://www.jianshu.com/p/0bfd0c48457f
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

后续

后面我会在考虑学习多线程异或多进程改写之前的爬虫，研究研究前面引用的文章里的提到的一些我之前还未了解的技术，感觉要学的东西还是很多，快要开学了，自己的效率有点低，也不知道还能有多少时间给自己这样浪。