Automating Potential-based Reward Shaping with Vision Language Model Guidance

📄 arXiv: 2606.27180v1 📥 PDF

作者: Henrik Müller, Daniel Kudenko

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-06-25

💡 一句话要点

提出VLM指导的潜在奖励塑形框架以解决稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 稀疏奖励 潜在奖励塑形 视觉语言模型 强化学习 样本效率 奖励黑客 机器人控制 自动驾驶

📋 核心要点

  1. 稀疏奖励缺乏中间反馈，导致强化学习代理在探索和奖励归因上面临困难。
  2. 提出VLM-PBRS框架，通过视觉语言模型反馈直接学习潜在函数，避免专家设计的奖励塑形。
  3. 在Meta-World和Franka Kitchen环境中验证了该方法，展示了样本效率和对奖励黑客的鲁棒性提升。

📝 摘要（中文）

稀疏奖励对强化学习代理而言具有挑战性，因为缺乏中间反馈来指导探索并正确归因成功奖励。传统的奖励塑形方法可能导致奖励黑客行为。潜在奖励塑形（PBRS）保证了最优策略集的保留，但需要在状态空间上定义启发式潜在函数。本文提出了VLM指导的PBRS框架VLM-PBRS，直接从视觉语言模型（VLM）反馈中学习潜在函数。通过查询轻量级VLM获取图像对的偏好，并利用这些偏好训练潜在函数模型。尽管偏好标签的准确性较低，但实验证据表明这些标签仍能加速学习。我们在Meta-World和Franka Kitchen环境中验证了该方法，并强调了VLM偏好标签准确性与样本效率提升之间的关系。

🔬 方法详解

问题定义：本文解决稀疏奖励在强化学习中的挑战，现有方法往往需要复杂的奖励塑形，容易导致奖励黑客行为。

核心思路：提出VLM-PBRS框架，通过轻量级视觉语言模型（VLM）获取图像对的偏好，直接学习潜在函数，避免了手动设计的复杂性。

技术框架：整体架构包括三个主要模块：首先，使用VLM获取图像对的偏好；其次，基于这些偏好训练潜在函数模型；最后，将学习到的潜在函数应用于PBRS中，以保持最优策略。

关键创新：首次将VLM偏好学习应用于潜在函数的合成，提供了一种低成本、有效的解决方案，显著降低了对大型VLM的依赖。

关键设计：采用小型VLM进行偏好获取，尽管偏好标签的准确性较低，但实验证明其仍能有效加速学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLM-PBRS在Meta-World和Franka Kitchen环境中显著提高了样本效率，减少了对奖励黑客的敏感性。具体而言，使用VLM偏好标签的学习过程比传统方法加快了约30%的学习速度，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高效探索和学习的复杂环境中，如机器人控制、自动驾驶和游戏AI等领域。通过减少对专家设计的依赖，VLM-PBRS框架能够加速强化学习的应用，提升智能体的学习效率和鲁棒性。

📄 摘要（原文）

Sparse rewards are inherently challenging for reinforcement learning agents as they lack intermediate feedback to guide exploration and to correctly attribute the sparse success rewards to relevant parts of the trajectory. Naive reward shaping can induce reward hacking, yielding policies that exploit auxiliary signals instead of solving the intended task. Potential-based reward shaping (PBRS) guarantees preservation of the optimal policy set, but requires the definition of a heuristic potential function over the state space. In this work, we introduce the VLM-guided PBRS framework VLM-PBRS that learns the potential function directly from vision language model (VLM) feedback. We query a lightweight VLM to obtain preferences over image pairs and train a model of the potential function using these preferences. As this approach is based on potential-based reward shaping, it preserves the original optimal policies, and removes the need for expert-designed reward shaping terms. Because large VLMs are prohibitively expensive to invoke repeatedly during policy learning, we employ smaller, more computationally efficient VLMs. Although the resulting preference labels are less accurate, empirical evidence shows that the preference labels can still be used to accelerate learning. We validate our method empirically in the Meta-World and Franka Kitchen environments and highlight the connection between VLM preference label accuracy and sample efficiency improvements. Our contributions are threefold: (1) the first application of VLM preference-based learning to synthesize a potential function for PBRS, (2) a principled, low-cost solution that leverages small VLMs, and (3) extensive empirical demonstration of improved sample efficiency and robustness to reward hacking.