CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

📄 arXiv: 2607.01721v1 📥 PDF

作者: Hexian Ni, Tao Lu, Yinghao Cai

分类: cs.RO

发布日期: 2026-07-02

备注: ICML 2026

💡 一句话要点

提出CoRe框架以解决强化学习中的奖励设计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励设计 视觉-语言模型 机器人操作 偏好对齐 深度学习 自动化决策

📋 核心要点

  1. 现有的奖励设计方法面临手工设计难以具体化和学习奖励效率低下的问题，导致次优策略。
  2. 本文提出的CoRe框架通过将奖励分解为正式奖励和残余奖励，结合视觉-语言模型反馈，实现偏好对齐策略。
  3. 实验结果显示，CoRe在十个机器人操作任务中表现优于现有方法，提升了政策学习的效果和效率。

📝 摘要（中文）

奖励设计仍然是强化学习中的一个核心挑战。手工设计的奖励往往难以具体化，可能导致次优策略，而从偏好中学习的奖励则可能效率低下且训练不稳定。受认知科学中人类学习双重性质的启发，本文将奖励分解为两部分：基于任务知识设计的正式奖励（FR）和从观察中学习的残余奖励（RR）。我们提出了CoRe框架，结合FR和RR与视觉-语言模型（VLMs）反馈，实现无人工干预的偏好对齐策略。我们的贡献包括：提出了一个正式奖励模块（FRM），利用VLMs迭代设计和优化FR；引入了残余奖励模块（RRM），通过VLMs生成偏好标签，从视频级别学习RR，确保与人类意图对齐。实验表明，CoRe在十个机器人操作任务的政策学习效果和效率上优于现有方法。

🔬 方法详解

问题定义：本文旨在解决强化学习中奖励设计的挑战，现有方法往往依赖手工设计或从偏好中学习，导致效率低下和不稳定性。

核心思路：我们将奖励分解为正式奖励（FR）和残余奖励（RR），FR基于任务知识设计，RR通过视觉-语言模型（VLMs）从观察中学习，以捕捉隐含的偏好。

技术框架：CoRe框架包括两个主要模块：正式奖励模块（FRM）和残余奖励模块（RRM）。FRM负责设计和优化FR，而RRM则通过VLMs生成偏好标签并学习RR。

关键创新：CoRe的创新在于将FR和RR结合，利用VLMs反馈实现无人工干预的偏好对齐策略，确保奖励的可靠性和效率。

关键设计：FRM和RRM的设计包括参数设置、损失函数的选择，以及VLMs的应用，确保了奖励的有效性和与人类意图的对齐。通过这种设计，CoRe能够自动构建高效的奖励机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoRe在十个机器人操作任务中显著优于现有方法，政策学习的效率提升幅度达到20%以上，且在五个真实世界任务中也展现出良好的性能，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化决策系统和智能助手等。通过提高奖励设计的效率和可靠性，CoRe框架能够在多种复杂任务中实现更优的策略学习，推动智能系统的实际应用和发展。

📄 摘要（原文）

Reward design remains a central challenge in reinforcement learning (RL). Hand-crafted rewards are often difficult to specify and may lead to suboptimal policies, while learned rewards from preferences can suffer from inefficiency and unstable training. Inspired by the dual nature of human learning explored in cognitive science, we decompose rewards into two complementary components: Formal Rewards (FR), explicitly designed based on task knowledge, and Residual Rewards (RR), learned from observations to capture implicit and nuanced preferences. Based on this decomposition, we propose CoRe, a hybrid framework that integrates FR and RR with vision-language models (VLMs) feedback to achieve preference-aligned policies without human involvement. Our contributions are twofold: (1) We propose a Formal Reward Module (FRM) that leverages VLMs to iteratively design and optimize FR based on task knowledge and preference feedback, enabling the continual improvement of policy during training; (2) We introduce a Residual Reward Module (RRM) that learns RR from video-level preference by employing VLMs to generate preference labels and capturing nuanced rewards that complement FR, ensuring alignment with human intent. Through the synergy of FRM and RRM, CoRe enables the automatic construction of reliable rewards that are efficient and preference-aligned. Extensive experiments demonstrate that CoRe outperforms existing approaches in terms of policy learning effectiveness and efficiency on ten robotic manipulation tasks in simulation and five real-worlds. Videos can be found on our project website: https://core-2026.github.io/