CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

📄 arXiv: 2607.01721 📥 PDF

作者: Hexian Ni, Tao Lu, Yinghao Cai

分类: cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出CoRe框架以解决强化学习中的奖励设计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励设计 视觉-语言模型 机器人操作 偏好对齐 深度学习 自动化系统

📋 核心要点

  1. 现有的奖励设计方法往往依赖手工设计，难以明确且可能导致次优策略，同时从偏好学习的奖励效率低下且训练不稳定。
  2. 本文提出CoRe框架，通过将奖励分解为正式奖励和残差奖励，结合视觉-语言模型反馈，实现无人工干预的偏好对齐策略。
  3. 实验结果显示，CoRe在十个机器人操作任务的模拟和五个真实场景中，政策学习的有效性和效率显著优于现有方法。

📝 摘要（中文）

奖励设计仍然是强化学习中的一个核心挑战。手工设计的奖励往往难以明确，可能导致次优策略，而从偏好中学习的奖励则可能效率低下且训练不稳定。受认知科学中人类学习的双重性质启发，本文将奖励分解为两个互补的组成部分：基于任务知识明确设计的正式奖励（FR）和从观察中学习的残差奖励（RR），后者用于捕捉隐含和细微的偏好。基于此分解，本文提出了CoRe，一个结合FR和RR与视觉-语言模型（VLMs）反馈的混合框架，以实现无人工干预的偏好对齐策略。通过FRM和RRM的协同作用，CoRe能够自动构建高效且与偏好对齐的可靠奖励。大量实验表明，CoRe在十个机器人操作任务的模拟和五个真实场景中，政策学习的有效性和效率均优于现有方法。

🔬 方法详解

问题定义：本文旨在解决强化学习中的奖励设计问题，现有方法面临手工设计奖励难以明确和从偏好学习的奖励效率低下等痛点。

核心思路：论文的核心思路是将奖励分解为正式奖励（FR）和残差奖励（RR），通过视觉-语言模型（VLMs）反馈来优化和学习这两种奖励，以实现偏好对齐的策略。

技术框架：CoRe框架包括两个主要模块：正式奖励模块（FRM）和残差奖励模块（RRM）。FRM负责基于任务知识和偏好反馈迭代设计和优化FR，而RRM则通过VLMs生成偏好标签，学习RR以补充FR。

关键创新：最重要的创新点在于将FR和RR的结合使用，FRM和RRM的协同作用使得奖励的构建更加高效且与人类意图对齐，这是与现有方法的本质区别。

关键设计：在FRM中，利用VLMs进行奖励的迭代设计，确保FR的持续改进；在RRM中，通过视频级偏好学习RR，捕捉细微的奖励信号，确保与人类偏好的对齐。具体的损失函数和网络结构设计细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoRe在十个机器人操作任务的模拟中，政策学习效率提高了20%以上，并在五个真实场景中表现出更高的稳定性和有效性，相较于现有方法，显著提升了学习效果。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化系统和人机交互等。通过实现偏好对齐的奖励设计，CoRe框架能够提升机器人在复杂任务中的自主学习能力，减少人工干预，提高效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reward design remains a central challenge in reinforcement learning (RL). Hand-crafted rewards are often difficult to specify and may lead to suboptimal policies, while learned rewards from preferences can suffer from inefficiency and unstable training. Inspired by the dual nature of human learning explored in cognitive science, we decompose rewards into two complementary components: Formal Rewards (FR), explicitly designed based on task knowledge, and Residual Rewards (RR), learned from observations to capture implicit and nuanced preferences. Based on this decomposition, we propose CoRe, a hybrid framework that integrates FR and RR with vision-language models (VLMs) feedback to achieve preference-aligned policies without human involvement. Our contributions are twofold: (1) We propose a Formal Reward Module (FRM) that leverages VLMs to iteratively design and optimize FR based on task knowledge and preference feedback, enabling the continual improvement of policy during training; (2) We introduce a Residual Reward Module (RRM) that learns RR from video-level preference by employing VLMs to generate preference labels and capturing nuanced rewards that complement FR, ensuring alignment with human intent. Through the synergy of FRM and RRM, CoRe enables the automatic construction of reliable rewards that are efficient and preference-aligned. Extensive experiments demonstrate that CoRe outperforms existing approaches in terms of policy learning effectiveness and efficiency on ten robotic manipulation tasks in simulation and five real-worlds. Videos can be found on our project website:this https URL