最近需要把采集到的图像数据进行压缩,节省存储空间。综合考虑压缩比和速度,决定采用静态Huffman编码,使用预先计算好的字典对数据进行压缩,这样压缩速度可以非常高,使用多线程之后可以进行实时压缩,但解压速度比较慢。

于是去gzip的代码里面找了一下,在一个叫unpack.c的文件里发现了Huffman解码的实现,gzip的解码确实很高效,其中的原因,简单来说就是多用内存,少用循环。

假设我们要压缩的字符串是“ABBBCC”,计算得到Huffman编码如下:

字符 计数 编码
A 1 00
B 3 1
C 2 01

编码后的二进制串是 0011101

要对编码后的字符串进行解码,比较容易想到的方法是这样的,构造这么一个字典

编码 字符
1 B
00 A
01 C

这个字典是原始的编码表按字符编码的长度进行排序,解码的时候就在字典里面顺序地查找编码

对于这个例子而言是这样一个过程

对二进制串0011101从左往右解码,先尝试编码1(对应字符B),发现不对,因为最左边是0,因此再尝试字典的第二个编码00(对应A),发现是正确的,最左边就是00,因此解码出字符A,将二进制串左移两位得到11101,继续从B的编码1开始尝试。最后能解码出ABBBCC这个原始编码。

这个解码方法的问题就是每解码一个字符串都要在字典里面循环一遍,效率不高。

gzip的方法

对于我们的例子gzip会构造这么一个字典

索引 索引编码 编码 字符
2 10 1 B
3 11 1 B
0 00 00 A
1 01 01 C

这个字典的特点就是有索引,因此查找编码的时候不用循环,而是计算索引直接定位到对应的编码。字典的构造方法是根据编码生成索引编码,所有索引编码的长度是相同的,从二叉树的角度来看就是把所有的子树都补到同样的长度,然后所有非编码节点(如11)都和其父节点(如1)对应同一个字符(如B)。

这个方法同样也是一种空间换时间的方法,随着编码长度的增加,内存消耗会指数增长,因此当编码太长时,gzip会使用多个字典,将长编码放在一些单独的字典里面,减小内存消耗。


dinglufe
83 声望4 粉丝

引用和评论

0 条评论