GORDON: Graph-based Object-centric Rewards for Decomposition of Long-Horizon Manipulation

📄 arXiv: 2608.03753v1 📥 PDF

作者: Andrea Protopapa, Davide Buoso, Francesca Pistilli, Georgia Chalvatzaki, Giuseppe Averta

分类: cs.RO

发布日期: 2026-08-04

备注: 9 pages, 6 figures, preprint. Project page: https://andreaprotopapa.github.io/graph-reward-learning/

💡 一句话要点

提出GORDON框架以解决长时间操作中的奖励设计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间操作 图神经网络 奖励设计 自监督学习 机器人操作 任务分解 密集奖励 视觉演示

📋 核心要点

  1. 现有的强化学习方法在长时间操作中面临奖励设计复杂、稀疏奖励指导不足和高昂的手动注释成本等挑战。
  2. GORDON框架通过图神经网络从无动作视频演示中学习密集奖励，利用对象及其空间关系的图表示来实现任务对齐。
  3. 在七个操作任务的实验中，GORDON实现了74.4%的平均成功率，相较于最佳基线提升约35个百分点，显示出显著的性能提升。

📝 摘要（中文）

学习长时间操作技能的强化学习面临奖励设计复杂、稀疏奖励指导有限和手动子任务注释成本高等挑战。视觉演示可以为奖励学习提供监督，但从原始像素学习的奖励往往脆弱且对视觉变化、背景外观和机器人运动敏感。本文提出GORDON，一个基于图的对象中心奖励学习框架，从无动作视频演示中学习密集奖励。每个视觉场景被表示为检测到的对象及其空间关系的图，利用图神经网络以自监督方式将这些图嵌入到任务对齐的潜在空间中。通过引入活动感知加权池化机制，强调与任务相关的对象，同时屏蔽机器人主导的运动。密集奖励通过当前状态在学习的潜在空间中与演示目标配置的距离计算，提供任务进展的度量。实验表明，该方法在MAGICAL和ManiSkill3基准上的七个操作任务中，显著提高了短时间设置下的强化学习效果，并成功实现复杂长时间任务的策略学习。

🔬 方法详解

问题定义：本文旨在解决长时间操作中奖励设计的复杂性和稀疏奖励的指导不足，现有方法往往依赖于手动注释，效率低下。

核心思路：GORDON框架通过图神经网络从无动作视频中学习密集奖励，利用对象及其空间关系的图表示来捕捉任务进展，减少对手动标注的依赖。

技术框架：该框架包括三个主要模块：图表示模块、图神经网络嵌入模块和奖励计算模块。首先，将视觉场景转换为对象图；然后，使用图神经网络进行自监督学习；最后，计算与目标配置的距离作为奖励。

关键创新：GORDON的创新在于引入了活动感知加权池化机制，强调与任务相关的对象，同时屏蔽不相关的机器人运动，从而提高了奖励的有效性和稳定性。

关键设计：在网络结构上，采用图神经网络进行图嵌入，损失函数设计为与目标配置的距离度量，确保奖励与任务进展紧密相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MAGICAL和ManiSkill3基准的七个操作任务中，GORDON框架实现了74.4%的平均成功率，较最佳基线提升约35个百分点，显示出在复杂长时间任务中的显著性能提升。

🎯 应用场景

GORDON框架在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过自动化奖励设计和子任务发现，该方法能够显著提高机器人在复杂环境中的操作能力，推动智能机器人技术的发展。

📄 摘要（原文）

Learning long-horizon manipulation skills with reinforcement learning remains challenging due to the complexity of reward design, the limited guidance of sparse rewards, and the high cost of manual subtask annotation. Visual demonstrations can provide supervision for reward learning, but rewards learned from raw pixels can be brittle and sensitive to visual variation, background appearance, and robot motion. In this work, we propose GORDON, a graph-based object-centric reward learning framework that learns dense rewards from action-free video demonstrations. Each visual scene is represented as a graph of detected objects and spatial relations, and a graph neural network is trained in a self-supervised manner to embed these graphs into a task-aligned latent space. To align the representation with semantic task progress, we introduce an activity-aware weighted pooling mechanism that emphasizes task-relevant objects while masking robot-dominated motion. The dense reward is then computed as distances in the learned latent space of the current state to demonstrated goal configurations, providing a measure of task progress. In long-horizon tasks, the temporal profile of this reward reveals stage-wise object-state transitions, enabling automatic subtask discovery without manual segmentation. The discovered segments are then used to train subtask-specific rewards and specialized policies that are composed sequentially. Experiments on seven manipulation tasks on MAGICAL and ManiSkill3 benchmarks show that our object-centric reward improves reinforcement learning in short-horizon settings and enables successful policy learning in complex long-horizon tasks through automatic decomposition, achieving an average success rate of 74.4% across the long-horizon tasks (on average approximately +35 p.p. vs. best learned baseline and approximately +25 p.p. vs. oracle).