Meta AI 推出 Segment Anything Model (SAM) 以推动图像分割技术普及

Meta AI 推出了名为 Segment Anything Model (SAM) 的项目，旨在通过引入新的任务、数据集和模型，推动图像分割技术的普及。该项目包括 Segment Anything Model (SAM) 和 Segment Anything 1-Billion mask dataset (SA-1B)，后者是目前最大的图像分割数据集。

主要创新点

1. 数据集规模：

   • SA-1B 数据集包含超过 10 亿个掩码，覆盖 1100 万张经过许可且尊重隐私的图像。这是迄今为止最大的图像分割数据集。

2. 模型设计：

   • SAM 模型被设计为可提示（promptable），能够通过提示（如点击、框选或文本）执行多种分割任务。这种设计使得模型在新图像分布和任务上表现出色，甚至在零样本（zero-shot）情况下表现优于之前的全监督模型。

3. 技术突破：

   • 传统图像分割方法分为两种：交互式分割（需要人工迭代优化）和自动分割（仅限于预定义类别，需大量人工标注数据）。SAM 结合了这两种方法的优点，提供了一种通用且全自动的分割解决方案。

模型特点

• 通用性：SAM 能够处理交互式和自动分割任务，适用于广泛的应用场景。
• 高质量数据集：通过高效的模型和数据收集循环，Meta AI 构建了包含 10 亿掩码的高质量数据集，使得模型能够很好地泛化到训练数据之外的对象和图像。
• 减少数据需求：由于 SAM 的泛化能力，用户无需为特定用例收集大量分割数据或微调模型。

应用前景

• 多领域应用：通过提示工程技巧，SAM 可以作为强大的组件应用于增强现实/虚拟现实（AR/VR）、内容创作、科学研究等领域，甚至更广泛的 AI 系统中。
• 系统集成：SAM 的模块化设计使其能够作为更大系统中的一部分，执行复杂的分割任务，并可能实现设计时未知的任务。

Meta AI 的目标

Meta AI 的目标是通过分享他们的研究和数据集，推动图像和视频理解领域的进一步发展。SAM 模型的可提示性和通用性为未来的技术进步提供了新的可能性。