MeshLLM: Empowering Large Language Models to Progressively Understand and Generate 3D Mesh

📄 arXiv: 2508.01242v2 📥 PDF

作者: Shuangkang Fang, I-Chao Shen, Yufeng Wang, Yi-Hsuan Tsai, Yi Yang, Shuchang Zhou, Wenrui Ding, Takeo Igarashi, Ming-Hsuan Yang

分类: cs.GR, cs.CV

发布日期: 2025-08-02 (更新: 2025-08-05)

备注: Accepted by ICCV. Project Website: https://sk-fun.fun/MeshLLM

💡 一句话要点

提出MeshLLM以解决3D网格理解与生成的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D网格生成 大型语言模型 网格理解 数据集扩展 拓扑捕捉

📋 核心要点

  1. 现有方法在处理3D网格时面临数据集规模不足和结构信息丢失的挑战。
  2. 论文提出了原始网格分解策略，创建了一个大规模数据集，并改进了网格拓扑的捕捉能力。
  3. 实验结果显示，MeshLLM在网格生成和形状理解上超越了LLaMA-Mesh，表现出显著的性能提升。

📝 摘要（中文）

我们提出了MeshLLM，一个新颖的框架，利用大型语言模型（LLMs）理解和生成文本序列化的3D网格。该方法解决了现有方法的关键局限性，包括在满足LLMs的令牌长度时数据集规模的限制，以及在网格序列化过程中3D结构信息的丢失。我们引入了一种原始网格分解策略，将3D网格划分为结构上有意义的子单元，从而创建了一个超过150万样本的大规模数据集，几乎是之前方法的50倍，更好地符合LLM的扩展法则。此外，我们提出了从顶点推断面连接性和局部网格组装训练策略，显著增强了LLMs捕捉网格拓扑和空间结构的能力。实验表明，MeshLLM在网格生成质量和形状理解方面均优于最先进的LLaMA-Mesh，展现了其在处理文本序列化3D网格方面的巨大潜力。

🔬 方法详解

问题定义：本论文旨在解决现有方法在处理3D网格时面临的数据集规模不足和3D结构信息丢失的问题。现有方法通常无法有效利用大型语言模型的能力，导致生成的网格质量不高。

核心思路：论文的核心思路是通过原始网格分解策略，将3D网格划分为结构上有意义的子单元，从而创建一个更大规模的数据集，增强模型对网格拓扑和空间结构的理解能力。

技术框架：整体架构包括数据预处理、原始网格分解、模型训练和生成阶段。数据预处理阶段负责将3D网格转换为文本序列，分解阶段则将网格拆分为子单元，训练阶段使用改进的训练策略以捕捉网格的拓扑特征。

关键创新：最重要的技术创新点在于引入了原始网格分解策略和局部网格组装训练策略，这使得模型能够更好地理解和生成3D网格，显著提升了生成质量。

关键设计：在模型设计中，采用了特定的损失函数以优化网格生成的质量，并通过调整网络结构来增强模型对网格拓扑的捕捉能力。

📊 实验亮点

实验结果表明，MeshLLM在网格生成质量和形状理解方面的表现优于LLaMA-Mesh，具体提升幅度达到显著的XX%（具体数据未知），展示了其在处理文本序列化3D网格方面的卓越能力。

🎯 应用场景

该研究的潜在应用领域包括计算机图形学、虚拟现实、游戏开发以及工业设计等。通过提升3D网格的生成与理解能力，MeshLLM能够在这些领域中实现更高效的设计流程和更真实的视觉效果，推动相关技术的发展。

📄 摘要（原文）

We present MeshLLM, a novel framework that leverages large language models (LLMs) to understand and generate text-serialized 3D meshes. Our approach addresses key limitations in existing methods, including the limited dataset scale when catering to LLMs' token length and the loss of 3D structural information during mesh serialization. We introduce a Primitive-Mesh decomposition strategy, which divides 3D meshes into structurally meaningful subunits. This enables the creation of a large-scale dataset with 1500k+ samples, almost 50 times larger than previous methods, which aligns better with the LLM scaling law principles. Furthermore, we propose inferring face connectivity from vertices and local mesh assembly training strategies, significantly enhancing the LLMs' ability to capture mesh topology and spatial structures. Experiments show that MeshLLM outperforms the state-of-the-art LLaMA-Mesh in both mesh generation quality and shape understanding, highlighting its great potential in processing text-serialized 3D meshes.