RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

📄 arXiv: 2611.05163v1 📥 PDF

作者: Seungyong Lee, Suhyeok Jang, Minyoung Kim, Jinwoo Shin

分类: cs.RO, cs.AI

发布日期: 2026-11-03

备注: 29 pages, 15 figures, 13 tables. Project page: https://ryan-seungyong-lee.github.io/RoboTryOn

💡 一句话要点

提出RoboTryOn以解决高自由度机器人演示生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人演示 虚拟试穿 动作合成 逆动力学模型 策略学习 高自由度机器人 视频合成

📋 核心要点

  1. 现有方法在将人类视频中的动作转化为高自由度机器人动作时，存在显著的视觉和动作差距，限制了机器人任务的适应性。
  2. RoboTryOn通过将人类视频转化为目标机器人视频，保持演示动作并替换人类为机器人，从而实现了高效的动作合成。
  3. 实验结果显示，使用合成数据训练的策略在新任务上的成功率显著提升，从2%提高到60%，且训练成本大幅降低。

📝 摘要（中文）

机器人基础模型在控制任务中表现出色，但适应新任务仍依赖于遥控演示。现有方法在将人类视频中的动作转化为机器人动作时存在显著的视觉和动作差距。为此，本文提出RoboTryOn，将人类视频转化为目标机器人视频，同时保持原始任务、物体和背景。通过自回归翻译关键帧并结合人类手部骨架的运动条件，RoboTryOn实现了视觉一致性。此外，利用逆动力学模型推断合成视频的动作标签，提升了策略学习的效果。实验表明，使用合成数据训练的策略在新任务上的成功率从2%提升至60%，且成本仅为遥控演示的三分之一。

🔬 方法详解

问题定义：本文旨在解决高自由度机器人演示生成中的视觉和动作差距问题。现有方法依赖于遥控演示，难以实现高效的任务适应。

核心思路：RoboTryOn将人类视频视作虚拟试穿，通过保持演示动作并替换人类为机器人，来实现动作合成和视觉一致性。

技术框架：RoboTryOn的整体架构包括关键帧自回归翻译、视频合成和逆动力学模型。关键帧用于指导合成过程，逆动力学模型则用于推断动作标签。

关键创新：最重要的创新在于将人类视频转化为机器人演示的过程，保持了任务的原始性和视觉一致性，克服了现有方法的局限。

关键设计：在技术细节上，使用了深度特征来增强逆动力学模型的性能，并设计了特定的损失函数以优化合成视频的质量。通过这些设计，RoboTryOn能够有效地生成高质量的机器人演示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用RoboTryOn合成的数据训练的策略在新任务上的成功率从2%提升至60%，且训练成本仅为传统遥控演示的三分之一，显示出该方法的高效性和经济性。

🎯 应用场景

RoboTryOn的研究成果在机器人控制、虚拟现实和人机交互等领域具有广泛的应用潜力。通过高效生成机器人演示，能够降低训练成本，提高机器人在复杂任务中的适应能力，推动智能机器人技术的发展。

📄 摘要（原文）

Robot foundation models have shown remarkable performance in robot control, yet adapting them to a new task still relies heavily on teleoperated demonstrations. Egocentric human videos offer a scalable substitute, but overlaying rendered robots on human videos or retargeting human poses into robot actions leaves significant visual or action gaps for high-DoF robot embodiments. To address this limitation, we propose RoboTryOn, which treats human-to-robot translation as virtual try-on: try-on keeps the person and swaps the garment, RoboTryOn keeps the demonstrated motion and swaps the human for the robot. Specifically, RoboTryOn converts a human video into a video of the target robot specified by a reference image, while preserving the original task, objects, and background. To maintain visual consistency, we translate selected keyframes autoregressively and use them to guide video synthesis with motion conditioned on the human hand skeleton. Additionally, we use an inverse dynamics model (IDM) that incorporates depth features to infer action labels from synthesized videos for policy learning. Our experiments across multiple humanoid embodiments show that policies trained with our synthetic data improve the average success rate on novel tasks, including challenging bimanual manipulation, from 2% to 60%, without any real robot demonstration of those tasks. Moreover, training with our synthetic data matches the performance of policies trained solely on teleoperated demonstrations at approximately a third of the collection cost, demonstrating the cost efficiency of our approach.