一次爬虫的并发改造过程

事情是这样的:因为在写一个豆瓣抽奖的小程序,我需要抓取豆瓣广播所有转发的用户信息,然后从这些用户里面抽取幸运观众。

典型的IO密集型操作呀。

首先爬虫要进入广播找到一共有多少转发页,大概长这样:

def get_pages(url):
    r = fetch(url)
    
    soup = BeautifulSoup(r, 'lxml')
    page_num = soup.find("div", class_="paginator").find_all("a")[-2].string

    return page_num

然后依次解析每一页的用户信息:

def parse_one(r):
    human = list()
    soup = BeautifulSoup(r, 'lxml')
    try:
        content = soup.find_all("li", class_="list-item")
    except:
        logging.error("there is no info.")
        raise
        .....

    return human

很简单吧。

刚开始我用requests库直接依次请求每一页的内容,代码写好后点击执行,等啊等,等啊等,终于爬完了,控制台输出:

耗时: 106.168...

我两眼一抹黑,要是用户用这个来抽奖,黄花菜都凉了。

遂决定多开几个进程,使用multiprocessing.Pool() 创建多个进程,看看效果:

pool = multiprocessing.Pool(5)
url_list = [url + '?start={}&tab=reshare#reshare'.format(i * 20) for i in range(0, int(page_num))]
with pool as p:
    res = p.map(parse_one, url_list)

耗时:

耗时: 26.168740749359131

好像还不错哎。比之前顺序爬取要快了不少。但还是有点慢。

然后我决定上携程 (协程)。

首先获取网页内容肯定要异步获取:

async def fetch(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
        ......
    }
    async with aiohttp.ClientSession(headers=headers) as session:
        async with session.get(url) as res:
            result = await res.text()
            return result

然后将所有请求放入task中:

url_list = [redict_url + '?start={}&tab=reshare#reshare'.format(i * 20) for i in range(0, int(page_num))]
loop = asyncio.=get_event_loop()
tasks = [asyncio.ensure_future(reshare(url)) for url in url_list]
loop.run_until_complete(asyncio.wait(tasks))

for task in tasks:
    human.extend(task.result())

接下来就是见证奇迹的时刻了!

(然而并不是,豆瓣把我封了。我太难了。)

那就上代理IP吧。又写了个爬虫爬了几百个代理ip地址。每次请求时候随机选择代理:

def random_proxy():
    url = hosts[random.randint(1, len(hosts))]
    proxy = "http://{}".format(url)
    return proxy

现在来看看效果:

耗时: 2.2529048919677734

Amazing!!!

关于线程,进程,协程,参考我之前写的文章:

对python并发编程的思考

另外,

我的豆瓣抽奖小程序(豆酱)已经上线了,欢迎使用提bug呀。

豆酱

阅读 369发布于 11月11日
推荐阅读
码上就来
用户专栏

分享关于Python,Java,ML,DL等相关的知识,争取通俗易懂。

11 人关注
14 篇文章
专栏主页
目录