主要观点：现代数据系统存在冗余，传统压缩方法效果不佳，尤其在大型加密数据集中的跨文件、抗数据偏移去重方面。为此开发并发布了[go-cdc-chunkers]包，用于内容定义分块（CDC），实现精细、抗偏移去重，适用于多种场景。
关键信息：

• 数据冗余导致系统工作不必要增加，如同步时间长、费用高、资源浪费等，去重可解决此问题，适用于多种数据处理场景。
• [go-cdc-chunkers]包是开源的高性能 Go 包，提供多种 CDC 算法实现，如 FastCDC、Keyed FastCDC 等，速度快、内存意识强、生产就绪，使用简单。
• 区分了压缩和去重，压缩基于字节频率，去重识别并消除重复数据段，二者策略和约束不同。
• 介绍了几种去重策略，如元数据匹配、精确内容匹配、固定大小分块、内容定义分块（CDC），CDC 基于固定大小分块但不使用全局结构和静态偏移，能抗数据偏移。
• FastCDC 是 CDC 的高性能变体，使用 Gear 指纹函数计算滚动哈希，具有更快的决策过程和更平衡的块大小分布。
• Keyed CDC 模式在 go-cdc-chunkers 包中引入，通过提供密钥生成密钥化的 Gear 表，避免 cutpoints 可预测，且无性能成本。
  重要细节：
• 给出了不同算法的操作纳秒数和吞吐量数据对比。
• 展示了各种去重策略的代码示例，如元数据匹配、精确内容匹配、固定大小分块、CDC 等。
• 详细解释了 FastCDC 的工作原理，包括滚动哈希计算、cutpoint 决策、智能窗口边界等。
• 说明了 Keyed CDC 的作用和优势，以及其在 plakar 中的应用和实现。