A Recipe for Efficient Sim-to-Real Transfer in Manipulation with Online Imitation-Pretrained World Models

📄 arXiv: 2510.02538v1 📥 PDF

作者: Yilin Wang, Shangzhe Li, Haoyi Niu, Zhiao Huang, Weitong Zhang, Hao Su

分类: cs.RO

发布日期: 2025-10-02

💡 一句话要点

提出基于世界模型的在线模仿预训练方法，提升机械臂操作的Sim-to-Real迁移效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 Sim-to-Real 世界模型 在线学习 机器人操作

📋 核心要点

  1. 离线模仿学习在真实机器人任务中面临数据覆盖不足和性能退化的问题，限制了其应用。
  2. 提出一种基于世界模型的在线模仿预训练框架，通过在线交互提升数据覆盖率和泛化能力。
  3. 实验表明，该方法在Sim-to-Sim和Sim-to-Real迁移任务中显著优于离线模仿学习基线。

📝 摘要（中文）

本文旨在解决真实世界专家数据有限情况下的模仿学习问题。现有的离线模仿学习方法常因数据覆盖不足和严重的性能下降而受限。为此，我们提出了一种利用机器人仿真器实现在线模仿学习的解决方案。我们的Sim-to-Real框架基于世界模型，结合了在线模仿预训练和离线微调。通过利用在线交互，我们的方法缓解了离线方法的数据覆盖限制，从而提高了鲁棒性，减少了微调期间的性能下降，并增强了领域迁移期间的泛化能力。实验结果表明了该方法的有效性，在Sim-to-Sim迁移中，成功率至少提高了31.7%，在Sim-to-Real迁移中，成功率至少提高了23.3%，优于现有的离线模仿学习基线。

🔬 方法详解

问题定义：论文旨在解决在真实机器人操作任务中，由于专家数据有限，传统的离线模仿学习方法难以有效学习策略的问题。现有方法通常受限于数据覆盖范围不足，导致在真实环境中性能显著下降，难以泛化到新的场景。

核心思路：论文的核心思路是利用仿真环境进行在线模仿预训练，从而克服离线模仿学习的数据覆盖不足问题。通过在仿真环境中与环境进行交互，智能体可以探索更多状态空间，学习更鲁棒的策略。然后，利用少量真实数据进行微调，实现从仿真到真实的迁移。

技术框架：该框架主要包含两个阶段：在线模仿预训练和离线微调。在在线模仿预训练阶段，智能体在仿真环境中与环境交互，并使用模仿学习算法学习策略。世界模型用于预测环境的未来状态，从而提高学习效率。在离线微调阶段，使用少量真实数据对预训练的策略进行微调，以适应真实环境的特性。

关键创新：该方法最重要的创新点在于将在线模仿预训练与世界模型相结合，从而有效地利用了仿真环境的优势，缓解了离线模仿学习的数据覆盖问题。与传统的离线模仿学习方法相比，该方法能够学习更鲁棒、泛化能力更强的策略。

关键设计：论文中关键的设计包括：1) 使用世界模型来预测环境的未来状态，从而提高在线模仿预训练的效率；2) 设计合适的奖励函数，引导智能体探索更多状态空间；3) 使用域随机化等技术，增强策略在仿真环境中的鲁棒性，从而提高Sim-to-Real迁移的效果。具体的网络结构和参数设置在论文中有详细描述，但此处未给出。

📊 实验亮点

实验结果表明，该方法在Sim-to-Sim迁移中，成功率至少提高了31.7%，在Sim-to-Real迁移中，成功率至少提高了23.3%，显著优于现有的离线模仿学习基线。这些结果验证了该方法在提高模仿学习性能和Sim-to-Real迁移效率方面的有效性。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如装配、抓取、导航等。通过利用仿真环境进行预训练，可以显著降低真实世界数据采集的成本和时间，加速机器人技术的部署和应用。该方法在工业自动化、服务机器人等领域具有广阔的应用前景。

📄 摘要（原文）

We are interested in solving the problem of imitation learning with a limited amount of real-world expert data. Existing offline imitation methods often struggle with poor data coverage and severe performance degradation. We propose a solution that leverages robot simulators to achieve online imitation learning. Our sim-to-real framework is based on world models and combines online imitation pretraining with offline finetuning. By leveraging online interactions, our approach alleviates the data coverage limitations of offline methods, leading to improved robustness and reduced performance degradation during finetuning. It also enhances generalization during domain transfer. Our empirical results demonstrate its effectiveness, improving success rates by at least 31.7% in sim-to-sim transfer and 23.3% in sim-to-real transfer over existing offline imitation learning baselines.