Nvidia 推出 Llama Nemotron 和 Cosmos Nemotron 模型家族

主要观点

Nvidia 推出了 Llama Nemotron 大型语言模型（LLMs）和 Cosmos Nemotron 视觉语言模型（VLMs），重点强调了由 AI 代理驱动的工作流程，如客户支持、欺诈检测、产品供应链优化等。Nemotron 模型家族分为 Nano、Super 和 Ultra 三种规格，以适应不同系统的需求。

关键信息

1. AI 代理是生成式 AI 进化的新前沿：Nvidia 认为，AI 代理的目标是创建能够自主执行复杂任务的系统，这需要结合语言能力和环境感知与交互能力。

2. 模型家族：

   • Llama Nemotron：基于 Meta 的 LLaMA 模型，专注于语言任务。
   • Cosmos Nemotron：新增的视觉语言模型，能够分析和响应用户环境中的图像和视频。
3. 应用场景：具备视觉能力的 AI 代理可以实时分析工业摄像头视频，帮助检测事故、减少缺陷或指导人类操作。

4. 模型优化：

   • 剪枝：减少延迟并提高计算效率。
   • 重训练：使用高质量数据集进行蒸馏和对齐，以提高任务准确性。
   • 结果：更小的模型，具有高准确性和高吞吐量。

重要细节

1. 模型规格：

   • Nano：适用于 PC 应用程序开发。
   • Super：在单个 GPU 上提供高性能。
   • Ultra：专为数据中心规模的应用设计。

2. 生态系统：

   • Nvidia NeMo：用于使用专有数据定制模型。
   • NeMo Aligner：更好地对齐模型，使其遵循指令并生成人类偏好的响应。
   • Nvidia AI Blueprints：使用 NIM 微服务作为构建块，快速创建 AI 代理。
3. Cosmos 世界基础模型：专门用于生成物理感知视频，适用于机器人和自动驾驶车辆。

总结

Nvidia 的 Nemotron 模型家族通过结合语言和视觉能力，为 AI 代理提供了强大的工具，能够在多种环境中执行复杂任务。通过优化和生态系统支持，Nvidia 旨在提高 AI 代理的效率和准确性，推动生成式 AI 的进一步发展。