Event2Reward: Learning Robotic Rewards from Progress Relations
作者: Junnan Nie, Zitian Fan, Jiachen Zhang, Junyi Lao, Likui Zhang, Chenghao Liu, Xiaoyang Lu, Yunbo Wang, Yixue Zhang, Linbo Zhai, Jiayi Li, Mengzhe Wang, Xichang Wu, Bin Wang, Chang Liu, Tianle Zhang, Songfang Huang
分类: cs.RO, cs.LG
发布日期: 2026-10-29
备注: 44 pages, including references and appendices
💡 一句话要点
提出Event2Reward以解决机器人奖励学习中的进展关系问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人奖励学习 强化学习 任务进展 相对进展关系 事件标注 性能提升 机器人控制
📋 核心要点
- 现有方法假设任务进展是单调递增的，但实际执行中可能出现停滞或回退，导致奖励分配不准确。
- Event2Reward通过归一化时间标签和局部相对进展关系，结合绝对与相对进展的监督，提供了一种新的奖励学习机制。
- 在40个任务的实验中，Event2Reward在相同训练预算下平均成功率提高了18.16个百分点，显示出显著的性能提升。
📝 摘要（中文）
通过学习机器人演示中的任务进展，Event2Reward为机器人强化学习构建了密集的奖励机制。现有方法通常使用归一化的演示时间作为进展标签，假设任务进展单调递增。然而，在策略探索过程中，实际的任务进展可能会停滞或回退，导致错误地将回退视为进展。本文提出的Event2Reward利用归一化的时间标签和局部相对进展关系，结合绝对与相对进展的监督，显著提升了策略成功率。实验表明，在相同训练预算下，Event2Reward在40个任务中平均成功率提高了18.16个百分点。
🔬 方法详解
问题定义：本文旨在解决机器人强化学习中奖励学习的挑战，现有方法依赖于单调递增的进展假设，无法有效处理任务进展的停滞和回退现象。
核心思路：Event2Reward的核心思想是利用归一化的时间标签来锚定进展尺度，并通过局部相对进展关系来约束进展变化，从而结合绝对与相对进展的监督。
技术框架：该方法的整体架构包括数据收集、事件标注、进展预测和奖励生成四个主要模块。首先，从真实机器人执行记录中收集数据并进行事件标注，然后利用这些标注进行进展预测，最后生成奖励信号用于强化学习。
关键创新：最重要的创新点在于引入了局部相对进展关系的概念，即使在绝对进展未知的情况下，也能有效地进行奖励学习。这一方法与传统的仅依赖绝对进展的模型有本质区别。
关键设计：在设计中，使用了归一化的时间标签作为进展锚点，并通过损失函数结合绝对与相对进展的监督，确保模型能够有效学习到任务的进展关系。
🖼️ 关键图片
📊 实验亮点
在实验中，Event2Reward在40个任务中平均成功率提高了18.16个百分点，且在真实机器人上，经过30分钟训练后，精确插入任务的成功率达到60.0%，物体操控任务的成功率达到90.0%，分别超出稀疏奖励基线36.7和23.3个百分点，显示出显著的性能优势。
🎯 应用场景
Event2Reward的研究成果在机器人领域具有广泛的应用潜力，尤其是在需要精确控制和反馈的任务中，如机器人装配、物体操控和自主导航等。通过改进奖励学习机制，该方法能够提升机器人在复杂环境中的任务执行能力，未来可能推动智能机器人在工业和服务领域的应用。
📄 摘要（原文）
Learning task progress from robot demonstrations provides a practical way to construct dense shaping rewards for robotic reinforcement learning. A common approach uses normalized demonstration time as progress labels, implicitly assuming monotonically increasing task progress. During policy exploration, however, actual task progress can stall or even regress. Such models may mistake regressions for progress, assigning positive shaping rewards to actions that cause progress loss. Real suboptimal and failed executions offer corrective experience, but assigning absolute progress values to their states is difficult. Our key observation is that stalls, regressions, and recoveries establish local relative progress relations even when absolute progress is unknown. We introduce Event2Reward, which uses normalized temporal labels to anchor the progress scale and these within-trajectory relations to constrain local changes, combining absolute and relative progress supervision. Its progress predictions serve as potentials for reward shaping. We curate an event-annotated dataset from approximately 100K raw real-robot execution records, covering successful, suboptimal, and failed executions, without requiring framewise absolute progress labels. Under the same training budgets, Event2Reward improves average policy success by 18.16 percentage points over a baseline using only sparse task rewards across 40 tasks in four LIBERO suites. On real robots, average success after 30 minutes of wall-clock training reaches 60.0% on three precise insertion tasks and 90.0% on three object manipulation tasks, exceeding the sparse-reward baseline under the same budget by 36.7 and 23.3 percentage points, respectively. Ablation studies further show that absolute progress supervision and relative progress relations are complementary, with joint supervision yielding better downstream policy learning.