pyspider如何手动判断某个url是否已经爬取过

想实现爬列表页的时候,发现有已经被爬过的文章url就停止列表爬取,否则继续下一页,如何实现?

阅读 860
评论 2018-11-29 提问
    2 个回答

    爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。

    评论 赞赏 2018-11-30
      KingJem
      • 1
      • 新人请关照

      可以基于爬取过的url计算md5值,放在redis数据库里面,爬取的时候判断一下在不在就可以了,redis的效率很高,不用担心效率问题

      import hashlib
      import redis
      
      
      def md_url(url):
          md5 = hashlib.md5()
          md5.update(url.encode('utf-8'))
          return md5.hexdigest()
      
      
      def exist_or_not(finger_print):
          # 0 指纹已经存在代表
          ex = conn.sadd('urls', finger_print)
          return ex
      评论 赞赏 2019-06-30
        撰写回答

        登录后参与交流、获取后续更新提醒