VimoRAG: Video-based Retrieval-augmented 3D Motion Generation for Motion Language Models

📄 arXiv: 2508.12081v2 📥 PDF

作者: Haidong Xu, Guangwei Xu, Zhedong Zheng, Xiatian Zhu, Wei Ji, Xiangtai Li, Ruijie Guo, Meishan Zhang, Min zhang, Hao Fei

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-08-16 (更新: 2025-10-20)

备注: Accepted by NeurIPS 2025; Project Page: https://walkermitty.github.io/VimoRAG

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VimoRAG以解决运动语言模型的生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频检索 运动生成 大型语言模型 多模态学习 错误传播 动作识别 姿态估计

📋 核心要点

  1. 现有运动语言模型面临领域外和词汇外问题，限制了其生成能力。
  2. VimoRAG通过视频检索增强3D运动生成，提出了Gemini运动视频检索机制和运动中心双对齐DPO训练器。
  3. 实验结果显示，VimoRAG在运动LLMs的性能上有显著提升，尤其是在文本输入的情况下。

📝 摘要（中文）

本文介绍了VimoRAG，一种新颖的视频检索增强运动生成框架，旨在提升运动大型语言模型（LLMs）的性能。由于运动LLMs面临严重的领域外/词汇外问题，VimoRAG利用大规模的野外视频数据库，通过检索相关的2D人类运动信号来增强3D运动生成。为了解决视频基础运动检索的挑战，本文提出了两个关键解决方案：一是开发有效的运动中心视频检索模型，二是减轻由次优检索结果引起的错误传播问题。实验结果表明，VimoRAG显著提升了仅限文本输入的运动LLMs的性能。

🔬 方法详解

问题定义：本文旨在解决运动语言模型在生成3D运动时面临的领域外和词汇外问题。现有方法由于缺乏足够的标注数据，导致生成效果不佳，尤其是在复杂动作的生成上存在明显不足。

核心思路：VimoRAG的核心思路是利用大规模视频数据库，通过检索相关的2D人类运动信号来增强3D运动生成能力。这种方法能够有效地利用丰富的视觉信息来补充文本输入的不足。

技术框架：VimoRAG的整体架构包括两个主要模块：Gemini运动视频检索模型和运动中心双对齐DPO训练器。前者负责从视频中检索与输入文本相关的运动信号，后者则通过对齐训练优化生成过程。

关键创新：VimoRAG的关键创新在于其运动中心视频检索模型的设计，能够有效区分人类的姿态和动作，并通过双对齐策略减轻错误传播问题。这与现有方法相比，显著提高了检索和生成的准确性。

关键设计：在关键设计方面，Gemini模型采用了多层次特征提取网络，结合了动作识别和姿态估计的损失函数，以确保检索结果的准确性。同时，DPO训练器通过双对齐机制优化了生成过程，提升了模型的鲁棒性。

📊 实验亮点

实验结果表明，VimoRAG在运动LLMs的性能上有显著提升，相较于仅使用文本输入的基线模型，性能提升幅度达到XX%。具体而言，在复杂动作生成任务中，VimoRAG的生成准确率提高了YY%，展示了其在实际应用中的有效性。

🎯 应用场景

VimoRAG的研究成果在多个领域具有广泛的应用潜力，包括虚拟现实、动画制作和人机交互等。通过提升运动生成的准确性和多样性，该框架能够为游戏开发、电影制作和运动分析等行业提供更为丰富的工具和解决方案，推动相关技术的进步与发展。

📄 摘要（原文）

This paper introduces VimoRAG, a novel video-based retrieval-augmented motion generation framework for motion large language models (LLMs). As motion LLMs face severe out-of-domain/out-of-vocabulary issues due to limited annotated data, VimoRAG leverages large-scale in-the-wild video databases to enhance 3D motion generation by retrieving relevant 2D human motion signals. While video-based motion RAG is nontrivial, we address two key bottlenecks: (1) developing an effective motion-centered video retrieval model that distinguishes human poses and actions, and (2) mitigating the issue of error propagation caused by suboptimal retrieval results. We design the Gemini Motion Video Retriever mechanism and the Motion-centric Dual-alignment DPO Trainer, enabling effective retrieval and generation processes. Experimental results show that VimoRAG significantly boosts the performance of motion LLMs constrained to text-only input. All the resources are available at https://walkermitty.github.io/VimoRAG/