Support-Constrained RL Enables Real-World Policy Improvement without Real-World Experience

📄 arXiv: 2606.27475v1 📥 PDF

作者: Raymond Yu, William Huey, Mustafa Mukadam, Anusha Nagabandi, Abhishek Gupta

分类: cs.RO, cs.LG

发布日期: 2026-06-25

备注: 35 pages, 23 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出支持约束强化学习以解决现实世界策略改进问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人操作 策略改进 模拟训练 安全性约束 流引导 多指操作 稀疏奖励

📋 核心要点

  1. 现有的强化学习方法在现实世界中训练机器人时，往往面临高成本和不安全的行为转移问题。
  2. 本文提出的SCORE框架通过将RL约束在生成策略的支持上，确保了安全性和可转移性，同时实现了有效的策略改进。
  3. 在八个真实世界的多指操作任务中，SCORE显著提高了成功率，从37.8%提升至89.9%，并减少了36.8%的步骤。

📝 摘要（中文）

在现实世界数据上训练的机器人往往表现不精确、速度慢且对扰动敏感。使用强化学习（RL）改进这些策略是一种有吸引力的替代方案，但通常需要昂贵的现实世界训练。相反，在模拟中进行策略改进提供了更便宜的选择，但在模拟中不受约束的RL可能会利用接触和动态不匹配，导致不安全的行为，无法转移到硬件上。本文提出了一种支持约束的离域强化学习框架（SCORE），通过流引导将RL约束在基于真实数据预训练的生成策略的支持上，从而确保可转移的行为并最大化策略改进。实验表明，SCORE在八个真实世界的多指机器人操作任务中将平均成功率从37.8%提高到89.9%。

🔬 方法详解

问题定义：本文旨在解决在现实世界中训练的机器人策略不精确和不安全的问题。现有方法在模拟中进行强化学习时，容易导致不安全的行为转移到硬件上。

核心思路：论文提出的SCORE框架通过将强化学习约束在基于真实数据预训练的生成策略的支持上，确保了策略的可转移性和安全性，同时最大化策略的改进。

技术框架：SCORE框架包括三个主要阶段：首先，在真实数据上预训练生成策略；其次，在模拟环境中进行支持约束的强化学习；最后，将改进后的策略应用于真实世界。

关键创新：SCORE的创新点在于通过流引导技术，将强化学习的动作限制在基于真实数据的生成策略的支持上，从而避免了不安全行为的产生。与传统方法相比，这一设计确保了策略改进的安全性和有效性。

关键设计：在SCORE中，关键设计包括流引导的实现方式、稀疏奖励的学习机制，以及不对基准策略进行蒸馏的策略。这些设计使得策略改进过程高效且安全。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个真实世界的多指操作任务中，SCORE将平均成功率从37.8%提升至89.9%，相比最佳基线59.5%有显著提高。同时，SCORE在任务完成中所需的步骤减少了36.8%，展示了其高效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和服务机器人等。通过在模拟环境中安全地改进策略，SCORE能够显著提高机器人在复杂任务中的表现，降低现实世界训练的成本和风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robots trained on real world data tend to be imprecise, slow, and brittle to perturbations. Improving these policies with reinforcement learning (RL) is an appealing alternative, but this process often requires expensive training in the real world. Performing policy improvement in simulation instead provides a far cheaper alternative, but unconstrained RL in simulation can exploit contact and dynamics mismatches, resulting in unsafe behaviors that do not transfer to hardware. Common forms of regularization can furthermore limit improvement by overconstraining to an imperfect behavior prior. In this work, we propose Support-Constrained Off-Domain REinforcement (SCORE), a real-to-sim-to-real framework that constrains RL in simulation to the support of a generative policy pretrained on real data. We instantiate this constraint through flow steering, restricting SCORE to actions the base policy can already produce, which ensures transferable behaviors while maximizing policy improvement. Improving a policy with SCORE requires minimal effort: it learns from sparse rewards, avoids distillation, and leaves the base policy untouched. Across eight real-world dexterous multi-fingered robotic manipulation tasks, SCORE improves average success rate from 37.8% to 89.9%, compared to 59.5% for the best baseline, and reaches success in 36.8% fewer steps than the base policy. Ultimately, through extensive experiments and ablations, we show that simulation can substantially improve real-world manipulation policies when policy optimization is appropriately constrained, introducing a new paradigm for real-to-sim-to-real policy improvement. Videos and code are available at https://weirdlabuw.github.io/score/.