ArtiMo: Agent-Driven Articulated Mesh Animation
作者: Chunyu Zou, Peng Dai, Yi-Hua Huang, Ze Yuan, Jingwei Huang, Yeming Yao, Xiaojuan Qi
分类: cs.CV
发布日期: 2026-08-21
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ArtiMo以解决文本驱动的关节网格动画问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 关节网格动画 文本引导 运动学约束 因果关系 大型语言模型 视觉-语言模型 代理驱动
📋 核心要点
- 现有的网格动画方法缺乏针对特定任务的训练数据和关节监督，导致其在文本驱动的动画生成中效果不佳。
- ArtiMo通过代理驱动的框架，结合大型语言和视觉-语言模型，实现了零-shot的文本引导关节网格动画生成。
- 实验结果显示，ArtiMo在复杂因果运动生成上显著超越了现有基线，特别是在因果一致性方面表现突出。
📝 摘要（中文）
在文本指导下对关节3D网格进行动画处理需要满足严格的运动学约束、建模部件之间的因果交互以及实现指令的准确性。现有的数据驱动网格动画方法由于缺乏特定任务的训练数据和明确的关节监督，难以适用于此场景。为此，本文提出了ArtiMo，一个新颖的基于代理的框架，旨在实现文本引导的关节网格动画。ArtiMo在零-shot的方式下，通过大型语言模型和视觉-语言模型的支持，构建了一个代理管道来协调运动生成。通过将URDF的显式运动学约束与代理的推理和规划能力相结合，ArtiMo有效地产生因果一致的部件运动和交互，而无需对模型进行微调。此外，本文还贡献了一个涵盖21个关节物体类别的新基准数据集，具有丰富的因果关系的高质量运动注释。实验结果表明，ArtiMo在复杂的因果驱动运动上显著优于基线方法。
🔬 方法详解
问题定义：本文旨在解决在文本指导下生成关节3D网格动画的问题。现有方法由于缺乏特定的训练数据和关节监督，难以满足严格的运动学约束和因果交互建模的需求。
核心思路：ArtiMo的核心思路是利用大型语言模型和视觉-语言模型构建一个代理驱动的动画生成管道，能够在零-shot的情况下生成符合运动学约束的动画。通过代理的推理和规划能力，ArtiMo能够生成因果一致的部件运动。
技术框架：ArtiMo的整体架构包括多个模块：首先，代理接收文本指令并解析运动需求；其次，结合URDF的运动学约束生成初步动画；最后，通过视觉自我改进机制对生成的动画进行迭代诊断和修正。
关键创新：ArtiMo的主要创新在于其代理驱动的框架，能够在没有模型微调的情况下，利用现有的语言和视觉模型生成高质量的动画。这一方法与传统的依赖于大量标注数据的模型有本质区别。
关键设计：在设计上，ArtiMo采用了URDF格式来明确运动学约束，并通过生成的动画渲染为紧凑的关键帧和运动线索，以便VLM进行错误诊断和修正。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ArtiMo在复杂因果驱动运动生成上显著优于基线方法，尤其在因果一致性方面，性能提升幅度达到XX%。具体而言，ArtiMo在21个关节物体类别的测试中，表现出更高的动画质量和准确性，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、动画制作和虚拟现实等。通过实现高效的文本驱动动画生成，ArtiMo可以大幅提升创作效率，降低对专业动画师的依赖，推动相关行业的发展。未来，随着技术的进一步成熟，ArtiMo有望在更广泛的领域中得到应用。
📄 摘要（原文）
Animating articulated 3D meshes via text requires satisfying strict kinematic constraints, modeling causal interactions between parts, and achieving instruction fidelity. Due to the absence of task-specific training data and explicit articulation supervision, existing data-driven mesh animation methods are largely inapplicable to this setting. To address this, we propose ArtiMo, a novel agent-driven framework for text-guided articulated mesh animation. Operating in a zero-shot manner, ArtiMo develops an agentic pipeline powered by Large Language and Vision-Language Models (LLMs/VLMs) to orchestrate motion generation. By synergizing the explicit kinematic constraints of URDF with the agent's reasoning and planning capabilities, it effectively produces causally coherent part motions and interactions without requiring model fine-tuning. To ensure motion correctness, the agent additionally utilizes a visual self-improvement mechanism: generated animations are rendered into compact keyframes and motion cues, enabling the VLM to iteratively diagnose and correct errors. Furthermore, we contribute a new benchmark dataset spanning 21 articulated object categories, featuring high-quality motion annotations enriched with causal relationships. Extensive experiments demonstrate that ArtiMo significantly outperforms baselines, particularly on complex, causally driven motions. The project page is available at https://zou-2004.github.io/ArtiMo/.