Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition

📄 arXiv: 2608.09762v1 📥 PDF

作者: Changhao Li, Yifang Zhang, Heng Zhang, Davide Torielli, Damiano Gasperini, Arturo Laurenzi, Luca Muratore, Arash Ajoudani, Nikos Tsagarakis

分类: cs.RO

发布日期: 2026-08-10

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出集中训练与评论员分解以解决机器人操控中的在线强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线强化学习 机器人操控 集中训练 分散执行 混合奖励架构 多头评论员 样本效率 策略优化

📋 核心要点

  1. 现有方法在多代理并行训练中面临非平稳性挑战，且随机化范围有限，影响样本效率。
  2. 本文提出的框架结合集中训练与分散执行，利用混合奖励架构和多头评论员来优化学习过程。
  3. 实验表明，该方法在多个任务上显著提升成功率，如网球和香蕉的抓取任务成功率分别从60%提升至80%和90%。

📝 摘要（中文）

现实世界中的在线强化学习（RL）为直接在物理世界中训练机器人操控策略提供了有前景的方法，避免了模拟与现实之间的差距，并通过人机交互实现持续的策略优化。尽管近期方法通过人类干预展示了样本高效学习，但仍然受到随机化范围小和多代理并行训练导致的非平稳性挑战。为解决这些局限性，本文提出了一个统一框架，结合集中训练与分散执行（CTDE）和混合奖励架构（HRA），使多个参与者共享一个集中式多头评论员。评论员被分解为任务头和抓取头，分别对应稀疏任务奖励和基于潜力的抓取奖励。实验结果表明，该框架显著提高了样本效率和策略性能。

🔬 方法详解

问题定义：本文旨在解决现实世界中机器人操控的在线强化学习问题，现有方法在处理多代理训练时容易受到非平稳性影响，且随机化范围较小，限制了样本效率和策略性能。

核心思路：提出一个结合集中训练与分散执行的框架，利用混合奖励架构（HRA）和多头评论员，允许多个代理共享评论员，从而提高样本效率和策略性能。

技术框架：框架包括集中式多头评论员，评论员被分解为任务头和抓取头，分别处理稀疏任务奖励和潜力奖励。通过重构评论员和演员目标，利用分解的Q值并考虑离散抓取策略的类别动作分布。

关键创新：最重要的创新在于评论员的分解设计，使得任务和抓取奖励能够独立优化，显著提高了学习效率和策略的适应性。与现有方法相比，该设计能够更好地应对多代理训练中的非平稳性。

关键设计：在参数设置上，采用了适应性学习率和多头结构，损失函数设计上考虑了任务和抓取奖励的平衡，网络结构上则采用了深度神经网络以处理复杂的策略学习任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在多个任务上显著提高了成功率：网球抓取任务从60%提升至80%，香蕉抓取任务从60%提升至90%，而模拟块重定位任务的成功率更是从25%提升至95%。此外，该方法在处理更大随机化范围的任务时表现优异，展示了其在现实世界应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和人机协作系统等，能够在动态环境中实现高效的操控策略。通过优化在线学习过程，该方法有助于提升机器人在实际应用中的灵活性和适应性，推动智能机器人技术的进步。

📄 摘要（原文）

Real-world online reinforcement learning (RL) provides a promising approach for training robotic manipulation policies directly in the physical world, avoiding the sim-to-real gap and enabling continuous policy refinement through human-in-the-loop interaction. Recent methods have demonstrated sample-efficient learning through human intervention but remain limited to small randomization ranges and encounter challenges with the non-stationarity induced by concurrently training multiple agents. To address these limitations, we introduce a unified framework that combines centralized training with decentralized execution (CTDE) and a Hybrid Reward Architecture (HRA). This enables multiple actors to share a centralized multi-head critic. The critic is decomposed into task and grasp heads, corresponding to the sparse task reward and a potential-based grasping reward, respectively. We accordingly reformulate the critic and actor objectives to exploit the decomposed Q-values while explicitly accounting for the categorical action distribution of the discrete gripper policy. Experimental results demonstrate that the proposed framework substantially improves both sample efficiency and policy performance. We validate our approach on two robotic arms and a simulated humanoid robot across tennis ball and banana pick-and-place, pot reset, and simulated block relocation tasks under dimension-wise domain randomization, approximately 5-25x larger than those considered in prior work. Compared with a state-of-the-art baseline, our method improves the success rate from 60% to 80% on tennis ball pick-and-place, from 60% to 90% on banana pick-and-place, and from 25% to 95% on simulated block relocation, while also successfully accomplishing a task where the baseline consistently fails. Videos and more details are available at our project website: https://hil-harc.github.io/.