Spatio-Temporal Motion Retargeting for Quadruped Robots
作者: Taerim Yoon, Dongho Kang, Seungmin Kim, Jin Cheng, Minsung Ahn, Stelian Coros, Sungjoon Choi
分类: cs.RO
发布日期: 2024-04-17 (更新: 2025-07-24)
备注: 20 pages, 12 figures, videos available at https://taerimyoon.me/Spatio-Temporal-Motion-Retargeting-for-Quadruped-Robots/
💡 一句话要点
提出时空运动重定向方法以提升四足机器人运动能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动重定向 四足机器人 模仿学习 强化学习 动态调整 物理可行性 运动学 复杂动作
📋 核心要点
- 现有的运动重定向方法在处理形态差异和物理约束时存在局限性，导致机器人无法有效模仿复杂的动态动作。
- 本研究提出了一种分阶段的运动重定向方法，首先在运动学层面生成可行的全身动作，然后在动态层面进行时间调整，以确保物理可行性。
- 实验结果表明，该方法能够将噪声源（如视频）转化为高质量的机器人运动，并成功在不同机器人上实现复杂动作，如后空翻。
📝 摘要（中文）
本研究提出了一种针对四足机器人的运动重定向方法，旨在将动态和灵活的运动从源动作转移到机器人上。我们通过模仿学习程序引导运动转移，有效弥合形态差异，同时确保目标系统的物理可行性。在第一阶段，我们专注于运动重定向的运动学层面，通过关键点轨迹生成运动学可行的全身动作。随后，在动态层面上调整运动的时间域，同时遵循物理约束，从而促进基于强化学习的策略训练，实现精确和稳健的运动跟踪。我们展示了该方法成功将噪声运动源（如手持摄像机视频）转化为符合目标机器人形态和物理特性的特定机器人运动，并展示了基于地形的运动重定向能力，成功在箱子上完成后空翻。我们通过硬件实验将这些技能成功部署到四个具有不同尺寸和物理特性的机器人上。
🔬 方法详解
问题定义：本研究旨在解决现有运动重定向方法在处理四足机器人运动时的形态差异和物理约束问题，现有方法往往无法有效转移复杂的动态动作。
核心思路：我们提出了一种分阶段的运动重定向方法，首先在运动学层面生成可行的全身动作，然后在动态层面进行时间调整，以确保目标机器人的物理可行性和运动的稳定性。
技术框架：整体架构分为两个主要阶段：第一阶段为运动学重定向，通过关键点轨迹生成全身动作；第二阶段为动态重定向，通过时间调整和物理约束优化运动。
关键创新：本研究的创新点在于将运动重定向分为运动学和动态两个层面，确保了生成动作的物理可行性，并能够有效处理形态差异。
关键设计：在技术细节上，我们设计了特定的损失函数以平衡运动学和动态调整，同时采用强化学习策略训练，以提高运动跟踪的精度和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法能够成功将手持摄像机视频中的噪声运动源转化为高质量的机器人运动，且在不同机器人上实现了后空翻等复杂动作，展示了显著的运动跟踪精度和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括机器人运动控制、自动化和人机交互等。通过实现复杂的动态动作，四足机器人可以在多种环境中执行任务，提升其在救援、探索等领域的实际价值。未来，该方法有望推动机器人在更复杂场景中的应用。
📄 摘要（原文）
This work presents a motion retargeting approach for legged robots, aimed at transferring the dynamic and agile movements to robots from source motions. In particular, we guide the imitation learning procedures by transferring motions from source to target, effectively bridging the morphological disparities while ensuring the physical feasibility of the target system. In the first stage, we focus on motion retargeting at the kinematic level by generating kinematically feasible whole-body motions from keypoint trajectories. Following this, we refine the motion at the dynamic level by adjusting it in the temporal domain while adhering to physical constraints. This process facilitates policy training via reinforcement learning, enabling precise and robust motion tracking. We demonstrate that our approach successfully transforms noisy motion sources, such as hand-held camera videos, into robot-specific motions that align with the morphology and physical properties of the target robots. Moreover, we demonstrate terrain-aware motion retargeting to perform BackFlip on top of a box. We successfully deployed these skills to four robots with different dimensions and physical properties in the real world through hardware experiments.