WorldSample: Closed-loop Real-robot RL with World Modelling

📄 arXiv: 2607.02431v1 📥 PDF

作者: Yuquan Xue, Le Xu, Zeyi Liu, Zhenyu Wu, Zhengyi Gu, Xinyang Song, Bofang Jia, Ziwei Wang

分类: cs.RO, cs.AI

发布日期: 2026-07-02

备注: 16 pages, 9 figures, conference paper

💡 一句话要点

提出WorldSample以解决真实机器人RL中的高交互成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人技术 数据增强 世界模型 策略调节学习 物理回放 合成数据

📋 核心要点

  1. 现有的强化学习方法在真实机器人应用中面临高交互成本的挑战，导致训练效率低下。
  2. 本文提出WorldSample框架，通过物理回放和世界模型生成的闭环，降低视觉幻觉并优化策略训练。
  3. 实验结果显示，WorldSample在机器人操作任务中成功率提高28%，训练步骤减少59%，验证了其有效性。

📝 摘要（中文）

强化学习（RL）通过试错交互超越模仿学习（IL）的演示覆盖限制，但在真实机器人上应用RL受到高交互成本的制约。为此，本文提出了WorldSample，一个基于物理的真实机器人RL数据增强框架，旨在通过物理回放、世界模型生成和策略改进之间的闭环，降低视觉幻觉。WorldSample通过后训练的世界模型生成高保真合成过渡，并引入策略调节学习（PPL）来优化训练过程，平衡有用增强与价值高估。实验表明，WorldSample在机器人操作任务中成功率提高28%，训练步骤减少59%。

🔬 方法详解

问题定义：本文旨在解决在真实机器人上应用强化学习时，由于每次物理回放的高成本和有限的状态覆盖，导致训练效率低下的问题。现有方法往往依赖于真实数据，难以充分利用合成数据。

核心思路：WorldSample框架通过建立物理回放与世界模型生成之间的闭环，生成高保真的合成过渡数据，并通过策略调节学习（PPL）优化训练过程，从而降低视觉幻觉的影响。

技术框架：该框架主要包括三个模块：物理回放模块、世界模型生成模块和策略改进模块。物理回放模块负责收集真实数据，世界模型生成模块基于真实数据生成合成过渡，而策略改进模块则利用这些数据进行训练。

关键创新：WorldSample的核心创新在于引入了策略调节学习（PPL），通过样本选择和调度来平衡有用增强与价值高估，显著降低了训练过程中的噪声和幻觉影响。

关键设计：在设计中，PPL的调节机制通过动态选择合成样本和调度训练步骤来优化学习过程，确保训练的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WorldSample在机器人操作任务中成功率提高了28%，训练步骤减少了59%。此外，世界模型的视觉保真度在PSNR上提高了19.4dB，SSIM提高了0.47，验证了其在策略和世界模型性能上的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提高机器人在复杂环境中的学习效率，WorldSample能够推动机器人技术的实际应用，降低训练成本，提升智能系统的自主性和适应性。

📄 摘要（原文）

Reinforcement learning (RL) can overcome the demonstration-coverage limitation of imitation learning (IL) by allowing robots to improve through trial-and-error interaction beyond the states observed in demonstrations. However, deploying RL on real robots remains constrained by high interaction costs, since each physical rollout is costly and reflects only one realized action-outcome path. To address this challenge, we propose WorldSample, a physically grounded data augmentation framework for real-robot RL that closes a real-synthetic loop between physical rollouts, world-model generation, and policy improvement. Grounded on real rollouts, WorldSample generates high-fidelity synthetic transitions through a post-trained world model, which greatly lowers the visual hallucination. Specifically, rather than simply using these transitions as real-world experience, WorldSample introduces Policy-Paced Learning (PPL) to regulate the training process through sample selection and scheduling, balancing useful augmentation against value overestimation and mitigating the hallucination-induced noise. Experiments on robot manipulation tasks involving contact-rich and precise tasks show that WorldSample improves policy success rate by 28% while reducing training steps by 59% compared with baselines. Furthermore, WorldSample improves world model visual fidelity by 19.4dB in PSNR and 0.47 in SSIM over demonstration-only post-training, validating the effectiveness of the real-synthetic loop for both policy and world model performance.