Python 爬虫复杂度是如何进行计算的?

设想全网有N个网站,那么分析一下判重的复杂度就是N*log(N),因为所有网页要遍历一次,而每次判重用set的话需要log(N)的复杂度。

为什么复杂度就是N*log(N),求各位知乎大神指点下!!!

阅读 5.4k
2 个回答

有点偏题..
记得<数学之美>一书中, 有提到使用布隆过滤器实现判重
链接: pybloom

这里要使用限制策略,相同参数的URL爬取最大数,网站目录爬取最大数,网站URL爬取最大数

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题