云原生分布式存储系统CubeFS从CNCF毕业

CubeFS 达到 CNCF 毕业状态

概述

云原生计算基金会(CNCF) 宣布开源分布式存储系统 CubeFS 已达到毕业状态。CubeFS 于 2017 年创立,支持多种访问协议,包括 POSIXHDFS、S3 及其自有的 REST API。CubeFS 的主要目标平台是大数据、AI/LLM 应用、容器平台和数据库。

关键子系统

CubeFS 的主要子系统包括:

  • 资源管理:监控数据和元数据节点,处理卷和分区信息。
  • 元数据:使用基于内存的分片和 MultiRaft 实现高可用性和一致性,支持通过拆分进行扩展。
  • 数据存储:提供多副本和纠删码选项,以平衡性能和成本。

发展历程

  • 2019 年 3 月:CubeFS 1.0.0 版本作为开源项目发布。
  • 2019 年 12 月:进入 CNCF Sandbox。
  • 2022 年:进入 CNCF Incubator。
  • 2025 年 1 月:成为 CNCF 的毕业项目。

自 2019 年加入 CNCF 以来,CubeFS 的贡献者群体显著多样化,从 5 家公司的 27 人增加到 42 家公司的近 400 人。目前,CubeFS 管理着约 350 PB 的数据,支持数十万客户端,被超过 200 家组织使用,包括京东、网易、Shopee 以及中国手机制造商 OPPO、小米和魅族。

社区和合作伙伴

CNCF 的首席技术官 Chris Aniszczyk 表示,大型组织如 OPPO 已经在生产环境中使用 CubeFS 运行机器学习平台,并用于 AI 训练。他强调了 CubeFS 的稳定性、可靠性能和活跃社区,这些因素赢得了采用者的信任。

毕业要求

为了达到 CNCF 毕业标准,CubeFS 显著改进了其治理和行为准则,并完成了全面的安全审计,包括威胁建模、供应链安全审查和代码安全漏洞评估。

未来计划

CubeFS 的未来计划包括优化元数据服务的成本、实现分层存储、分布式缓存加速,以及通过调用链跟踪改进问题追踪能力。

相关项目和资源

CubeFS 进入 CNCF 的分布式云原生存储领域,与 Rook/CephLonghornOpenEBS 等开源项目并列。CubeFS 在 Q3 2024 CNCF 技术雷达 中被提及,建议批处理/AI/ML 领域的公司采用 CubeFS,并对其有用性和成熟度给予了高度评价。

社区反馈

分布式存储爱好者 Benjamin Arntzen 分享了他探索 CubeFS 的经验,强调了其原生 S3 网关能力、Kubernetes 持久存储支持、卷管理和水平可扩展的元数据存储等优点。Arntzen 提到 CubeFS 目前缺乏存储分层功能,但团队正在积极开发此功能。他还指出 CubeFS 的默认部署缺乏适当的认证,使系统在不受信任的网络中易受攻击,因此他通过集成认证和加密修改了 CubeFS,并将代码分享在 GitHub 上。

下载和贡献

CubeFS 现已提供 下载 并在 GitHub 上开放贡献。

阅读 12 (UV 12)
0 条评论