WorldSample: Closed-loop Real-robot RL with World Modelling

📄 arXiv: 2607.02431 📥 PDF

作者: Yuquan Xue, Le Xu, Zeyi Liu, Zhenyu Wu, Zhengyi Gu, Xinyang Song, Bofang Jia, Ziwei Wang

分类: cs.RO, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出WorldSample以解决真实机器人强化学习中的高交互成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人 数据增强 世界模型 政策调节学习 物理回放 合成数据

📋 核心要点

  1. 现有的强化学习方法在真实机器人上应用时，面临高昂的交互成本，限制了其有效性和效率。
  2. 本文提出WorldSample框架，通过物理回放和世界模型生成的闭环，生成高保真合成过渡，降低视觉幻觉。
  3. 实验结果显示，WorldSample在机器人操作任务中成功率提高28%，训练步骤减少59%，并显著提升世界模型的视觉保真度。

📝 摘要（中文）

强化学习（RL）通过试错交互超越模仿学习（IL）的演示覆盖限制，但在真实机器人上应用时受到高交互成本的制约。为此，本文提出WorldSample，一个基于物理的真实机器人RL数据增强框架，旨在通过物理回放、世界模型生成和策略改进之间的闭环，降低视觉幻觉。WorldSample引入了政策调节学习（PPL），在样本选择和调度中平衡有用的增强与价值高估，减轻幻觉引起的噪声。实验结果表明，WorldSample在机器人操作任务中成功率提高28%，训练步骤减少59%。

🔬 方法详解

问题定义：本文旨在解决真实机器人强化学习中高交互成本的问题。现有方法在物理回放中仅能反映单一路径，限制了学习效率和效果。

核心思路：WorldSample通过建立物理回放与合成数据生成的闭环，利用后训练的世界模型生成高保真合成过渡，降低视觉幻觉的影响。引入政策调节学习（PPL）来优化样本选择和调度，从而提高学习的有效性。

技术框架：WorldSample的整体架构包括三个主要模块：物理回放模块、世界模型生成模块和策略改进模块。物理回放模块负责收集真实交互数据，世界模型生成模块基于这些数据生成合成过渡，策略改进模块则利用这些过渡进行学习和优化。

关键创新：WorldSample的主要创新在于引入了政策调节学习（PPL），通过调节样本选择和调度，平衡了有用增强与价值高估的风险，显著降低了幻觉引起的噪声。这一设计与传统的直接使用合成数据的方式有本质区别。

关键设计：在关键设计方面，WorldSample采用了后训练的世界模型，优化了合成过渡的生成质量。此外，PPL的具体实现涉及对样本的动态选择和训练过程的调度，以确保学习过程的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WorldSample在机器人操作任务中的成功率提高了28%，训练步骤减少了59%。此外，世界模型的视觉保真度在PSNR上提高了19.4dB，SSIM上提高了0.47，验证了真实-合成闭环的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过降低真实机器人训练的成本和提高学习效率，WorldSample能够加速机器人在复杂环境中的自主学习和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) can overcome the demonstration-coverage limitation of imitation learning (IL) by allowing robots to improve through trial-and-error interaction beyond the states observed in demonstrations. However, deploying RL on real robots remains constrained by high interaction costs, since each physical rollout is costly and reflects only one realized action-outcome path. To address this challenge, we propose WorldSample, a physically grounded data augmentation framework for real-robot RL that closes a real-synthetic loop between physical rollouts, world-model generation, and policy improvement. Grounded on real rollouts, WorldSample generates high-fidelity synthetic transitions through a post-trained world model, which greatly lowers the visual hallucination. Specifically, rather than simply using these transitions as real-world experience, WorldSample introduces Policy-Paced Learning (PPL) to regulate the training process through sample selection and scheduling, balancing useful augmentation against value overestimation and mitigating the hallucination-induced noise. Experiments on robot manipulation tasks involving contact-rich and precise tasks show that WorldSample improves policy success rate by 28% while reducing training steps by 59% compared with baselines. Furthermore, WorldSample improves world model visual fidelity by 19.4dB in PSNR and 0.47 in SSIM over demonstration-only post-training, validating the effectiveness of the real-synthetic loop for both policy and world model performance.