MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers

📄 arXiv: 2311.15475v1 📥 PDF

作者: Yawar Siddiqui, Antonio Alliegro, Alexey Artemov, Tatiana Tommasi, Daniele Sirigatti, Vladislav Rosov, Angela Dai, Matthias Nießner

分类: cs.CV, cs.LG

发布日期: 2023-11-27

备注: Project Page: https://nihalsid.github.io/mesh-gpt/, Video: https://youtu.be/UV90O1_69_o

💡 一句话要点

提出MeshGPT以生成紧凑的三角网格

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 三角网格生成 自回归模型 图卷积 变换器 计算机图形学 深度学习 人工智能

📋 核心要点

  1. 现有的网格生成方法通常生成稠密的三角网格，缺乏艺术创作网格的紧凑性和高效性。
  2. MeshGPT通过自回归生成三角形序列，利用图卷积学习潜在嵌入，确保生成的网格既紧凑又具备良好的几何特征。
  3. 实验结果表明，MeshGPT在形状覆盖率上提高了9%，FID评分提升了30分，显著优于当前最先进的网格生成方法。

📝 摘要（中文）

我们介绍了MeshGPT，这是一种新的三角网格生成方法，旨在反映艺术家创作网格的紧凑性，而非从神经场提取的稠密三角网格。受强大大型语言模型的启发，我们采用基于序列的自回归方法，将三角网格生成视为三角形序列的生成。首先，我们使用图卷积学习潜在量化嵌入的词汇，这些嵌入能够反映局部网格的几何和拓扑信息。然后，通过解码器将这些嵌入序列化为三角形，确保能够有效重建网格。经过训练后，我们的模型能够自回归采样生成新的三角网格，直接生成具有锐利边缘的紧凑网格，更加接近人类创作的高效三角化模式。MeshGPT在形状覆盖率上提高了9%，在各类的FID评分上提升了30分，显著优于现有的网格生成方法。

🔬 方法详解

问题定义：论文旨在解决现有网格生成方法生成稠密三角网格的问题，这些方法往往无法有效模拟艺术家创作的紧凑网格特性。

核心思路：MeshGPT采用自回归的序列生成方法，将三角网格视为三角形的序列，通过学习潜在嵌入来捕捉局部几何和拓扑信息，从而生成更为紧凑的网格。

技术框架：整体架构包括三个主要模块：首先，通过图卷积网络学习潜在量化嵌入；其次，使用解码器将嵌入序列化为三角形；最后，训练变换器模型预测下一个嵌入的索引。

关键创新：最重要的创新在于将三角网格生成视为序列生成任务，利用图卷积学习局部几何信息，显著提高了生成网格的紧凑性和边缘清晰度。

关键设计：在模型设计中，采用了量化嵌入的词汇表，损失函数设计为适应自回归生成任务，网络结构则结合了图卷积和变换器的优点，确保生成的网格既高效又具备良好的视觉效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MeshGPT在实验中表现出色，相较于现有的网格生成方法，形状覆盖率提高了9%，FID评分提升了30分，显示出其在生成紧凑网格方面的显著优势。

🎯 应用场景

MeshGPT的潜在应用领域包括计算机图形学、游戏开发、虚拟现实和增强现实等。通过生成高质量的三角网格，MeshGPT能够为艺术创作、场景建模和动画制作提供更为高效的工具，推动相关领域的发展与创新。

📄 摘要（原文）

We introduce MeshGPT, a new approach for generating triangle meshes that reflects the compactness typical of artist-created meshes, in contrast to dense triangle meshes extracted by iso-surfacing methods from neural fields. Inspired by recent advances in powerful large language models, we adopt a sequence-based approach to autoregressively generate triangle meshes as sequences of triangles. We first learn a vocabulary of latent quantized embeddings, using graph convolutions, which inform these embeddings of the local mesh geometry and topology. These embeddings are sequenced and decoded into triangles by a decoder, ensuring that they can effectively reconstruct the mesh. A transformer is then trained on this learned vocabulary to predict the index of the next embedding given previous embeddings. Once trained, our model can be autoregressively sampled to generate new triangle meshes, directly generating compact meshes with sharp edges, more closely imitating the efficient triangulation patterns of human-crafted meshes. MeshGPT demonstrates a notable improvement over state of the art mesh generation methods, with a 9% increase in shape coverage and a 30-point enhancement in FID scores across various categories.