布隆过滤器

dack

介绍

判断一个元素是否存在一个集合中?

常规思路:

  • 数组
  • 链表
  • 树、平衡二叉树、Trie
  • Map(红黑树)
  • 哈希表

虽然上述数据结构配合常见的排序、二分搜索可以快速的处理大部分判断元素是否存在,但是当集合里面的元素足够大时,如果有500万条甚至一亿条记录时,消耗的内存将会很高,这个时候,布隆过滤器(Bloom Filter)就应运而生。

原理

布隆过滤器的核心实现就是一个超大的位数组和几个哈希函数,假设位数组的长度为m,哈希函数的个数为k。

clipboard.png

具体的操作流程:假设集合里面有3个元素{x, y, z},哈希函数的个数为3。首先将位数组进行初始化,将里面每个位都设置位0。对于集合里面的每一个元素,将元素依次通过3个哈希函数进行映射,每次映射都会产生一个哈希值,这个值对应位数组上面的一个点,然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候,同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1,则可以判断该元素一定不存在集合中。反之,如果3个点都为1,则该元素可能存在集合中。注意:此处不能判断该元素是否一定存在集合中,可能存在一定的误判率。可以从图中可以看到:假设某个元素通过映射对应下标为4,5,6这3个点。虽然这3个点都为1,但是很明显这3个点是不同元素经过哈希得到的位置,因此这种情况说明元素虽然不在集合中,也可能对应的都是1,这是误判率存在的原因。

添加元素

  • 将要添加的元素给k个哈希函数
  • 得到对应的为数组的k个位置
  • 将这k个位置设为1

查找元素

  • 将要查询的元素给k个哈希函数
  • 得到对应位数组上的k个位置
  • 如果k个位置有一个或以上为0,则肯定不在集合中
  • 如果k个位置全部为1,则可能在集合中
阅读 825

Java、GO、计算机网络、操作系统等学习总结
之前秋招复习的时候开始写这个专栏,本想重新开一个专栏记录工作之后学到的东西,但是因为segmentfault...

一直在路上

89 声望
18 粉丝
0 条评论
你知道吗?

一直在路上

89 声望
18 粉丝
文章目录
宣传栏