Unleashing Infinite Motion: Scaling Expressive Quadrupedal Motion via Generative Video Priors
作者: Youzhi Liu, Li Gao, Yifei Qian, Liu Liu, Yang Cai, Ziqiao Li
分类: cs.RO
发布日期: 2026-06-26
🔗 代码/项目: GITHUB
💡 一句话要点
提出Uni-Mo以解决四足机器人运动生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 四足机器人 运动生成 视频扩散模型 身份一致性损失 自动化管道
📋 核心要点
- 现有四足机器人运动生成方法依赖于动物体态，导致数据收集困难且重建过程脆弱。
- 本文提出Uni-Mo，通过大型语言模型和视频扩散模型自动生成四足机器人运动，消除动物介入。
- 在真实Unitree Go2上验证的392个运动样本中，成功率达到96.7%，显示出该方法的有效性。
📝 摘要（中文）
四足机器人在运动能力上取得了显著进展，但其行为模式仍然局限于少数几种步态，远未达到理想中的表现。现有方法依赖于动物体态进行数据收集，导致重建过程脆弱且难以适应不同形态。为此，本文提出了Uni-Mo，一个完全自动化的管道，通过将数据稀缺性重新定义为生成问题，消除了动物的介入。该方法利用大型语言模型生成运动提示，视频扩散模型合成相应的机器人行为，并将生成的视频提升为3D参考轨迹，用于训练在真实Unitree Go2上的跟踪策略。我们还引入了身份一致性损失，以确保帧间外观的一致性。我们发布了包含7488个语言注释的四足运动的开源数据集Quad-Imaginarium，并在真实Unitree Go2上验证了392个随机采样运动，成功率达到96.7%。
🔬 方法详解
问题定义：本文旨在解决四足机器人运动生成中的数据稀缺性问题。现有方法依赖于动物体态进行数据收集，导致重建过程脆弱，且难以适应不同形态的机器人。
核心思路：论文的核心思路是将运动生成视为一个生成问题，利用大型语言模型（LLM）生成运动提示，并通过视频扩散模型合成相应的机器人行为，从而消除动物的介入。
技术框架：整体架构包括三个主要模块：首先，LLM生成运动提示；其次，视频扩散模型根据提示生成机器人运动视频；最后，将生成的视频提升为3D参考轨迹，用于训练跟踪策略。
关键创新：最重要的技术创新是引入身份一致性损失（Identity Consistency Loss），该损失函数确保生成视频中帧间的外观一致性，从而提高生成结果的可靠性。
关键设计：在技术细节上，使用了特定的损失函数来优化生成视频的质量，并设计了适应不同运动类型的网络结构，以确保生成的运动能够在真实环境中有效执行。
🖼️ 关键图片
📊 实验亮点
在实验中，392个随机采样的运动在真实Unitree Go2上实现了96.7%的成功率，且在模拟环境中全数据集的成功率达到97.6%。这些结果表明，Uni-Mo在运动生成方面的有效性和可靠性，显著提升了四足机器人的运动表现。
🎯 应用场景
该研究的潜在应用领域包括机器人表演、娱乐、以及服务机器人等。通过生成多样化的运动，四足机器人能够更好地适应人类环境，提升与人类的互动能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Quadruped robots have achieved remarkable locomotion, yet their behavioral repertoire remains confined to a few gaits--far from the expressive, companion-like presence long envisioned for them. Attempts to import the humanoid recipe of large-scale motion data have inherited one tacit assumption: that robot motion must first pass through an animal body, making data collection dependent on cooperative animals, reconstruction fragile across species, and retargeting ill-posed across incompatible morphologies. We propose Uni-Mo, a fully automated pipeline that removes the animal from the loop by reframing data scarcity as a generation problem: an LLM proposes motion prompts, a video diffusion model synthesizes the corresponding robot behaviors, and the generated videos are lifted into 3D reference trajectories used to train tracking policies deployed on a real Unitree Go2. To make naively-drifting generations reliably extractable, we introduce an Identity Consistency Loss that enforces appearance coherence across frames. We release Quad-Imaginarium at https://github.com/GaoLii/Quad-Imaginarium.git, the resulting open-source dataset of 7,488 language-annotated quadruped motions (18.5 hours) spanning acrobatic and performative behaviors. We validate 392 randomly sampled motions on a real Unitree Go2 with a 96.7% deployment success rate, complemented by a 97.6% success rate across the full dataset in simulation.