0

想实现爬列表页的时候,发现有已经被爬过的文章url就停止列表爬取,否则继续下一页,如何实现?

hunsh 241
2018-11-29 提问
2 个回答
0

爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。

0

可以基于爬取过的url计算md5值,放在redis数据库里面,爬取的时候判断一下在不在就可以了,redis的效率很高,不用担心效率问题

import hashlib
import redis


def md_url(url):
    md5 = hashlib.md5()
    md5.update(url.encode('utf-8'))
    return md5.hexdigest()


def exist_or_not(finger_print):
    # 0 指纹已经存在代表
    ex = conn.sadd('urls', finger_print)
    return ex

撰写答案

推广链接