LTM3D: Bridging Token Spaces for Conditional 3D Generation with Auto-Regressive Diffusion Framework

📄 arXiv: 2505.24245v1 📥 PDF

作者: Xin Kang, Zihan Zheng, Lei Chu, Yue Gao, Jiahao Li, Hao Pan, Xuejin Chen, Yan Lu

分类: cs.CV, cs.AI

发布日期: 2025-05-30

💡 一句话要点

提出LTM3D以解决条件3D生成中的依赖建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 条件生成 3D形状生成 扩散模型 自回归模型 多模态融合 潜在标记建模 结构保真度 深度学习

📋 核心要点

  1. 现有的3D形状生成方法在处理条件生成时，难以有效结合扩散模型与自回归模型的优点，导致生成结果的依赖性不足。
  2. LTM3D通过引入条件分布建模和前缀学习，增强了标记间的依赖性，并实现了条件标记与形状潜在标记的对齐。
  3. 实验结果显示，LTM3D在多个生成任务中表现优异，相较于现有方法在提示保真度和结构准确性上有显著提升。

📝 摘要（中文）

我们提出了LTM3D，一个用于条件3D形状生成的潜在标记空间建模框架，结合了扩散模型和自回归模型的优点。尽管基于扩散的方法有效建模连续潜在空间，自回归模型在捕捉标记间依赖性方面表现出色，但将这两种范式结合以进行3D形状生成仍然面临挑战。LTM3D采用条件分布建模骨干，利用掩蔽自编码器和扩散模型增强标记依赖学习。此外，我们引入了前缀学习，将条件标记与形状潜在标记对齐，从而提高跨模态的灵活性。实验表明，LTM3D在图像和文本条件的形状生成任务中，在提示保真度和结构准确性方面超越了现有方法，提供了一个可推广的多模态、多表示的3D生成框架。

🔬 方法详解

问题定义：本论文旨在解决条件3D形状生成中，现有方法在标记依赖建模上的不足，尤其是如何有效结合扩散模型和自回归模型的优点。

核心思路：LTM3D的核心思路是通过条件分布建模和前缀学习，增强生成过程中标记间的依赖性，从而提高生成的灵活性和准确性。

技术框架：LTM3D的整体架构包括条件分布建模骨干、掩蔽自编码器、扩散模型和潜在标记重建模块。该框架支持多种3D表示形式，如有符号距离场、点云、网格和3D高斯点云。

关键创新：LTM3D的主要创新在于引入了前缀学习和潜在标记重建模块，前者通过对齐条件标记与形状潜在标记，后者通过重建引导采样减少不确定性，提升生成形状的结构保真度。

关键设计：在设计中，采用了掩蔽自编码器来增强标记依赖学习，损失函数则结合了重建损失和生成损失，以确保生成结果的质量和准确性。

📊 实验亮点

在多个图像和文本条件的形状生成任务中，LTM3D显著超越了现有方法，提示保真度提升了XX%，结构准确性提升了YY%。这些结果表明LTM3D在多模态3D生成中的有效性和优越性。

🎯 应用场景

该研究在计算机视觉、虚拟现实和游戏开发等领域具有广泛的应用潜力。LTM3D能够生成高质量的3D模型，支持多种输入条件，提升了3D内容创作的效率和灵活性，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

We present LTM3D, a Latent Token space Modeling framework for conditional 3D shape generation that integrates the strengths of diffusion and auto-regressive (AR) models. While diffusion-based methods effectively model continuous latent spaces and AR models excel at capturing inter-token dependencies, combining these paradigms for 3D shape generation remains a challenge. To address this, LTM3D features a Conditional Distribution Modeling backbone, leveraging a masked autoencoder and a diffusion model to enhance token dependency learning. Additionally, we introduce Prefix Learning, which aligns condition tokens with shape latent tokens during generation, improving flexibility across modalities. We further propose a Latent Token Reconstruction module with Reconstruction-Guided Sampling to reduce uncertainty and enhance structural fidelity in generated shapes. Our approach operates in token space, enabling support for multiple 3D representations, including signed distance fields, point clouds, meshes, and 3D Gaussian Splatting. Extensive experiments on image- and text-conditioned shape generation tasks demonstrate that LTM3D outperforms existing methods in prompt fidelity and structural accuracy while offering a generalizable framework for multi-modal, multi-representation 3D generation.