为了节省磁盘空间,文件的存储往往需要压缩,有的需要压缩比大,有的需要压缩速度快。而对于一套计算的结果存储,如多个MapReduce之间,需要能支持分片的压缩方式。lzop就是个可以支持分片的压缩方式,非常适合用于多个MapReduce之间的计算中间结果存储。
一、在Hadoop上安装lzop与在hive上的使用
https://www.iteblog.com/archi...
二、添加索引以支持分片
lzop默认是不支持分片的,需要添加索引。
https://www.iteblog.com/archi...
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。