想实现爬列表页的时候,发现有已经被爬过的文章url就停止列表爬取,否则继续下一页,如何实现?
可以基于爬取过的url计算md5值,放在redis数据库里面,爬取的时候判断一下在不在就可以了,redis的效率很高,不用担心效率问题
import hashlib
import redis
def md_url(url):
md5 = hashlib.md5()
md5.update(url.encode('utf-8'))
return md5.hexdigest()
def exist_or_not(finger_print):
# 0 指纹已经存在代表
ex = conn.sadd('urls', finger_print)
return ex
2 回答5.2k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答1.4k 阅读✓ 已解决
3 回答1.3k 阅读✓ 已解决
3 回答1.3k 阅读✓ 已解决
2 回答884 阅读✓ 已解决
1 回答1.8k 阅读✓ 已解决
爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。