MeshAnything:使用自回归 Transformer 生成艺术家创建的网格

主要观点:

  • 介绍了 MeshAnything 模型,它能模仿人类艺术家从 3D 表示中提取网格,可与多种 3D 资产生产管道结合,将结果转换为艺术家创建的网格应用于 3D 行业。
  • 该模型架构包含 VQ-VAE 和形状条件解码器 Transformer,通过学习网格词汇和形状条件自回归网格生成来工作。
  • 实验表明其生成的网格面数减少数百倍,提高了存储、渲染和模拟效率,精度可与先前方法媲美。
  • 与其他方法相比,该模型避免学习复杂 3D 形状分布,通过优化拓扑高效构建形状,减少训练负担并增强可扩展性。
  • 通过与多种 3D 资产生产方法结合,实现了高度可控的艺术家创建网格生成,并与真实值进行了比较。

关键信息:

  • 参与人员:Tong He、Di Huang、Weicai Ye、Sijin Chen、Jiaxiang Tang、Xin Chen、Zhongang Cai、Lei Yang、Gang Yu、Guosheng Lin、Chi Zhang,分别来自 1S-Lab(南洋理工大学)、上海人工智能实验室、复旦大学、北京大学、中国科学院大学、商汤科技、步凡、西湖大学等。
  • 工作相关:部分工作在上海人工智能实验室实习期间完成,有相应标注。
  • 相关成果:展示了多种实验结果图片,如演示视频、重新网格图像等,证明了模型的性能和优势。
  • BibTeX 信息:给出了论文的 BibTeX 引用格式。

重要细节:

  • 模型架构中 VQ-VAE 用于学习网格词汇,形状条件解码器 Transformer 用于形状条件自回归网格生成。
  • 与 MeshGPT 等方法的对比,强调了自身优势。
  • 在不同实验中与真实值的比较,包括拓扑和面数等方面的对比。
阅读 11
0 条评论