NVIDIA 的研究团队推出了名为 LLaMA-Mesh 的创新方法，该方法扩展了大语言模型（LLMs）的能力，使其能够在统一的文本框架下生成和解释 3D 网格数据。LLaMA-Mesh 将 3D 网格数据作为纯文本进行标记化处理，从而实现了空间信息和文本信息的无缝集成。

核心创新

LLaMA-Mesh 的核心创新在于其对 3D 网格数据的标记化处理方式。它将 3D 网格的顶点坐标和面定义表示为纯文本，使得现有的 LLMs 能够直接处理这些信息，而无需扩展词汇表。这种方法将文本和 3D 模式集成在一起，使模型不仅能够生成 3D 网格，还能在对话环境中理解和推理这些网格。

数据集与功能

研究团队构建了一个监督微调（SFT）数据集来训练 LLaMA-Mesh。通过该数据集，模型能够：

• 从文本描述生成 3D 网格。
• 结合文本和 3D 网格的交错输出。
• 解释和推理现有的 3D 网格结构。

性能与应用

LLaMA-Mesh 在网格生成的质量上与专门为此任务设计的模型相当，同时保留了其文本生成能力。该框架在需要空间推理的设计、建筑等领域具有实际应用价值。

反馈与改进

尽管 LLaMA-Mesh 前景广阔，但一些用户指出了其潜在的改进空间。例如，软件工程师 András Csányi 在 Twitter 上提到，使用该模型需要一种可预测的命令语言，而与 LLM 的随机性斗争可能会让用户感到疲惫。此外，Reddit 用户 DocWafflez 强调了理解 3D 空间对于通用人工智能（AGI）的重要性，而另一位用户则提出了其在空间推理问题中的潜在应用，例如通过 3D 场景表示和行为编码来提高输出的精确性。

演示与资源

LLaMA-Mesh 的演示版本已在 Hugging Face 上发布，但由于计算限制，其令牌限制为 4096，可能会导致网格生成不完整。完整模型支持最多 8k 令牌，并且可以在本地运行以扩展功能。研究团队还在 GitHub 上提供了 LLaMA-Mesh 的代码、工具和文档，供进一步探索。

总结

LLaMA-Mesh 的研究标志着自然语言处理与空间数据理解之间的重要桥梁，展示了其在多模态 AI 领域的潜力。