GAOT: Generating Articulated Objects Through Text-Guided Diffusion Models

📄 arXiv: 2512.03566v1 📥 PDF

作者: Hao Sun, Lei Fan, Donglin Di, Shaohui Liu

分类: cs.CV, cs.MM

发布日期: 2025-12-03

备注: Accepted by ACM MM Asia2026

💡 一句话要点

GAOT：提出基于文本引导扩散模型的铰接物体生成框架

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 铰接物体生成 文本引导生成 扩散模型 超图学习 3D建模

📋 核心要点

  1. 现有铰接物体生成模型缺乏文本提示的条件控制能力，限制了其应用范围。
  2. GAOT框架利用扩散模型和超图学习，分阶段从文本提示生成高质量的铰接物体。
  3. 实验结果表明，GAOT在PartNet-Mobility数据集上优于现有方法，证明了其有效性。

📝 摘要（中文）

铰接物体生成技术日益进步，但现有模型通常缺乏基于文本提示的条件控制能力。为了弥合文本描述与3D铰接物体表示之间的巨大差距，我们提出了GAOT，一个三阶段框架，利用扩散模型和超图学习，从文本提示生成铰接物体。首先，我们微调一个点云生成模型，从文本提示生成物体的粗略表示。考虑到铰接物体与图结构之间的内在联系，我们设计了一种基于超图的学习方法来细化这些粗略表示，将物体部件表示为图顶点。最后，利用扩散模型，基于物体部件生成铰接物体的关节（表示为图边）。在PartNet-Mobility数据集上的大量定性和定量实验表明，我们的方法是有效的，并且优于以前的方法。

🔬 方法详解

问题定义：现有铰接物体生成方法难以直接利用文本描述进行控制，用户无法通过自然语言指定物体的结构和运动方式。这限制了铰接物体生成在设计、动画等领域的应用。现有方法通常依赖于预定义的参数或人工标注，缺乏灵活性和泛化能力。

核心思路：论文的核心思路是将铰接物体生成问题转化为一个逐步细化的过程，首先从文本生成粗略的物体形状，然后利用超图结构表示物体部件之间的关系，最后使用扩散模型生成关节连接。这种分阶段的方法能够有效地利用文本信息，并保证生成结果的合理性和可控性。

技术框架：GAOT框架包含三个主要阶段：1) 粗略形状生成：使用微调后的点云生成模型，从文本提示生成物体的粗略点云表示。2) 超图结构细化：利用超图学习方法，将物体部件表示为超图的顶点，并学习顶点之间的关系，从而细化物体的结构。3) 关节生成：使用扩散模型，基于物体部件的超图表示，生成铰接物体的关节位置和类型。

关键创新：GAOT的关键创新在于将超图学习和扩散模型相结合，用于铰接物体的生成。超图能够有效地表示物体部件之间的复杂关系，而扩散模型能够生成高质量的关节连接。此外，GAOT框架能够直接从文本提示生成铰接物体，无需人工干预。

关键设计：在粗略形状生成阶段，使用预训练的点云生成模型，并针对铰接物体生成任务进行微调。在超图学习阶段，设计了特定的损失函数，用于约束超图结构的合理性。在关节生成阶段，使用条件扩散模型，以物体部件的超图表示作为条件，生成关节的位置和类型。具体的参数设置和网络结构在论文中有详细描述。

📊 实验亮点

GAOT在PartNet-Mobility数据集上取得了显著的性能提升。定性结果表明，GAOT能够生成结构合理、关节连接自然的铰接物体。定量结果表明，GAOT在多个指标上优于现有的铰接物体生成方法，例如在关节位置的准确性和物体结构的完整性方面。

🎯 应用场景

GAOT框架具有广泛的应用前景，例如在游戏开发中，可以根据文本描述快速生成各种铰接角色和道具；在机器人设计中，可以根据任务需求自动生成具有特定功能的机器人结构；在动画制作中，可以根据剧本描述生成逼真的动画角色。此外，该技术还可以应用于虚拟现实、增强现实等领域，为用户提供更加个性化和沉浸式的体验。

📄 摘要（原文）

Articulated object generation has seen increasing advancements, yet existing models often lack the ability to be conditioned on text prompts. To address the significant gap between textual descriptions and 3D articulated object representations, we propose GAOT, a three-phase framework that generates articulated objects from text prompts, leveraging diffusion models and hypergraph learning in a three-step process. First, we fine-tune a point cloud generation model to produce a coarse representation of objects from text prompts. Given the inherent connection between articulated objects and graph structures, we design a hypergraph-based learning method to refine these coarse representations, representing object parts as graph vertices. Finally, leveraging a diffusion model, the joints of articulated objects-represented as graph edges-are generated based on the object parts. Extensive qualitative and quantitative experiments on the PartNet-Mobility dataset demonstrate the effectiveness of our approach, achieving superior performance over previous methods.