喜报！腾讯云存储荣获2024年度分布式存储产品金奖

引言

2024年11月8日，由 DOIT 传媒主办，中国计算机学会信息存储专委会、武汉光电国家研究中心和百易存储研究院支持的“2024中国数据与存储峰会”在北京召开。本次峰会以“智数据 · AI 未来”为主题，汇聚了全球领先的数据存储企业代表、专家学者及行业用户，共同探讨了数据存储领域的最新技术进展、市场趋势和应用案例。

在峰会发布的“2024存储风云榜”中，腾讯云数据加速器 GooseFS 荣膺“2024年度分布式存储产品金奖”。“2024存储风云榜”展示了数据存储领域的创新成果，引领下一代技术的突破与落地，为行业选型和应用提供了重要参考，同时也激励更多企业持续创新。

Date Platform：探索智能存储之未来之旅

腾讯云存储专家解决方案架构师王登宇应邀出席本次峰会，并在“ AI + 存储协同发展论坛”中发表了题为“腾讯云 Data Platform：探索智能存储之未来之旅”的演讲。本次演讲聚焦腾讯云数据平台如何突破传统存储的边界，通过整合 COS 对象存储、MetaInsight 智能检索、Data Engine 数据处理引擎和 GooseFS 数据加速器系统，构建全面的 AI 存储解决方案，优化大数据和 AI 业务中的数据管理，提升计算效率，为各类智能应用的持续发展提供坚实支撑。

掌控智能时代的数据存储挑战

云存储的演进历程始终伴随业务需求的变化：从早期的内容分发需求推动对象存储的快速发展，到大数据业务场景下的数据湖和湖仓一体化方案，再到最近的 AIGC 业务场景，存储方案面临着低成本存储、数据管理和处理能力以及更高的存储性能需求。这些都推动了云存储技术的不断演进。

在这一背景下，腾讯云存储推出了 Data Platform 解决方案。Data Platform 包含四个核心产品：COS 对象存储提供数据存储功能；MetaInsight 实现数据智能检索和数据目录功能；Data Engine 提供高效的数据处理能力；而 GooseFS 负责数据加速，从而形成完整的一体化存储解决方案。

从存储到数据平台，Date Platform 助力企业跨越数据挑战

Data Platform 方案从业务需求出发，提供一体化服务：通过 S3/COS 接口满足数据湖、数据仓库等业务场景中的数据存储需求；MetaInsight 提供的元数据和语义检索接口让海量数据具备了更强的可管理性；Data Engine 通过靠近存储端的数据处理能力提升了数据挖掘效率，降低了数据处理成本；GooseFS 数据加速服务作为全闪存高性能文件缓存系统，支持 HDFS 和 POSIX 接口，为大数据和 AI 场景优化近计算端的 IO 访问效率。

在海量数据存储需求之下，对象存储 COS 作为 Data Platform 的存储底座，采用腾讯云自研的 Yotta 架构，单集群规模可达100 EB，支持多种存储类型和管理功能，为企业提供高可靠性、低成本的海量数据存储服务，帮助企业应对 AI 数据的存储需求。随着众多企业对 AI 业务的投入，当算力和模型规模达到一定阶段后，模型的能力往往取决于数据的数量和质量，COS 的高可靠性和可用性、低成本、成为了企业海量数据存储的首选。

Date Platform 双引擎：智能数据管理与处理

为解决海量数据存储后的高效管理和处理需求，腾讯云通过 MetaInsight 和 Data Engine 构建了 Data Platform 的双引擎。非结构化数据在存入 COS 对象存储后，通过 MetaInsight 提取元数据和向量特征实现结构化管理，并提供查询检索 API；Data Engine 在查询 MetaInsight 的数据后可以进一步处理数据集，从而形成数据存储、数据管理和数据处理的闭环。通过 COS 的事件触发机制（event trigger），数据上传后可自动完成上述所有处理流程，降低数据智能化应用的门槛。

数据万象 Date Engine 数据处理引擎：释放海量数据处理能力

腾讯云的数据处理引擎（Data Engine）内置了超过百种强大处理能力，涵盖内容审核、图片处理、视频处理、音频处理、文档服务、文件处理等多个领域。结合腾讯自研的 AI 技术，Data Engine 能够对图片、视频和音频进行智能化处理，完成更多复杂且定制化的数据处理任务。这些处理能力能够通过数据工作流进行自动化编排，支持批量化处理海量数据，极大提升工作效率。无论是业务需求的高效执行，还是大规模数据处理的优化，Data Engine 都能够为客户提供灵活且高效的解决方案。

数据万象 Metalnsight：提升多模态数据检索效率

近期，腾讯云发布了 MetaInsight，这一创新工具旨在提升多模态数据的检索效率。基于AI大模型和向量数据库，MetaInsight 为用户提供跨模态的数据检索能力，能够高效地挖掘多种类型数据中的深层价值。MetaInsight 的核心定位是作为 COS 对象存储的 Data Catalog，针对 COS 存储中的数据提供多场景、多模态的检索服务。它通过自然语言处理或结构化检索条件分析存储的数据，满足数据管理、分析、检索等全方位需求。

当前，MetaInsight 支持两个维度的结构化数据：一是文件的 Metadata，用于支持文件的聚合统计查询；二是 Embedding 特征，主要用于图像内容检索。这些结构化数据的组合形成了 COS 的 Data Catalog，极大提高了数据的可管理性和查询效率。

数据加速器 GooseFS：提升数据清洗与训练效率

在数据清洗和训练过程中，数据加速器 GooseFS 通过将数据智能分布至内存、计算节点本地盘或全闪存缓存等不同层级中，提供亚毫秒级访问时延、百万级 IOPS 和 Tbps 级别吞吐量，大幅提升数据清洗效率。这一加速方案已在自动驾驶、大模型等多个 AI 场景下落地，帮助企业降本增效。

典型案例：数据智能的高效应用

MetaInsight 与 GooseFS 的协同，让数据更智能、高效地计算

通过 MetaInsight（语义检索或元数据查询），从 COS Data Store 中提取所需数据，并缓存至 GooseFS。GooseFS 通过 POSIX/HDFS 接口将数据高效投递至计算节点，实现更高效的计算操作。 

Data Engine 结合 MetaInsight，自动识别标签，高效管理数据

Data Engine 的智能处理通过大模型自动识别数据内容，并对数据进行定制化标注。识别的标签可写入 MetaInsight 建立索引，后续可通过元数据查询快速检索对应数据集，提升数据的管理效率。

结束语：重塑 AI + 存储数据平台，释放智能存储的潜能

腾讯云 Data Platform 基于智能数据治理和灵活存储管理，为 AI 和大数据应用注入新动能。平台提供统一的存储空间，有效整合结构化、半结构化和非结构化数据，简化管理流程。通过极致的数据访问性能，它支持大规模数据的高吞吐量和低延迟访问，确保实时的数据处理和分析能力。创新的 Yotta 架构技术不仅降低了存储成本，还优化了存储效率。平台灵活的资源配置功能使企业能够按需扩展存储资源，实现存储和数据处理的灵活调度。同时，智能化的数据治理大幅简化了数据管理流程，进一步提升了整体数据管理的效率。

通过这一先进的解决方案，腾讯云 Data Platform 正助力企业高效释放数据价值，迎接智能存储的未来。