Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

📄 arXiv: 2608.25350v1 📥 PDF

作者: Srivalli Katkuri, Maxwell Kawada, Juan Wachs

分类: cs.LG, cs.RO

发布日期: 2026-08-26

备注: 13 pages, 10 figures. Srivalli Katkuri and Maxwell Kawada contributed equally to this work

💡 一句话要点

提出基于列表的视觉语言监督以提升偏好奖励学习效果

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 偏好奖励学习 Plackett-Luce模型 强化学习 机器人控制 多模态学习 人机交互

📋 核心要点

  1. 现有的成对比较方法仅利用两个观察结果，未能充分发挥视觉语言模型的多候选排名能力。
  2. 提出将视觉语言模型生成的偏好与Plackett-Luce模型结合，允许使用列表排名来学习奖励函数。
  3. 在Meta-World操作任务中，PL模型的表现至少与其他基线方法相当，最佳配置在某些任务中达到86%的成功率。

📝 摘要（中文）

视觉语言模型（VLMs）已成为强化学习中的一种强大监督来源，使得智能体在训练过程中能够利用丰富的语义知识。受人类反馈强化学习（RLHF）中基于偏好的奖励学习（PbRL）成功的启发，VLM生成的图像偏好为学习奖励函数提供了有效的来源。现有的基于Bradley-Terry（BT）模型的成对比较方法仅使用两个观察结果，未能充分利用VLM的多候选排名能力。本文首次提出将VLM生成的偏好与Plackett-Luce（PL）模型结合的框架，允许使用列表排名来塑造奖励模型。实验结果表明，PL奖励模型在Meta-World操作任务中表现出色，能够与其他基线方法相媲美或超越，展示了列表式VLM偏好监督在奖励学习中的竞争力和灵活性。

🔬 方法详解

问题定义：本文旨在解决现有基于成对比较的奖励学习方法的局限性，尤其是其只能处理两个观察结果的问题。现有方法未能充分利用视觉语言模型的多候选排名能力，限制了其在复杂任务中的应用。

核心思路：论文提出将视觉语言模型生成的偏好与Plackett-Luce模型结合，利用列表排名而非成对偏好来构建奖励模型。这种设计能够更好地适应VLM的特性，提高奖励学习的灵活性和效果。

技术框架：整体架构包括三个主要模块：首先，使用视觉语言模型生成图像的偏好；其次，应用Plackett-Luce模型对这些偏好进行列表排名；最后，利用生成的奖励信号训练机器人策略。

关键创新：最重要的技术创新在于首次将Plackett-Luce模型应用于视觉语言模型生成的偏好，允许使用不同的排名大小（K>2），从而克服了成对方法的局限性。

关键设计：在实验中，设置了不同的排名大小（K=3, 4, 5），并与Bradley-Terry模型及其他基线进行比较。损失函数设计上，采用了适应性损失函数以优化奖励模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Plackett-Luce模型在Meta-World操作任务中表现优异，至少有一个PL排名大小（K=3, 4, 5）在平均成功率上与其他方法持平或超越，最佳配置在Drawer Open任务中达到了86%的最终成功率，匹配了Oracle基线。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化决策系统以及人机交互等。通过有效的奖励学习，智能体能够在复杂环境中更好地理解和执行任务，提升其自主学习和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) have emerged as a powerful source of supervision for reinforcement learning, enabling agents to leverage rich semantic knowledge during training. Inspired by the success of preference-based reward learning (PbRL) in reinforcement learning from human feedback (RLHF), vision-language model generated image-based preferences provide an effective source for learning reward functions. This can be done by visually comparing two outcomes through the Bradley-Terry (BT) model. However, this pairwise formulation utilizes only two observations at a time, despite VLMs being capable of ranking multiple candidates. The Plackett-Luce (PL) formulation can shape a reward model with listwise rankings as opposed to pairwise preferences, allowing for a more suited use of a VLM based ranking. In this work, to our knowledge, we introduce the first framework that combines VLM-generated preferences with the Plackett-Luce model for reward learning. We evaluate our approach on Meta-World manipulation tasks and show that Plackett-Luce (PL) reward models can train robotic policies from VLM-generated rankings as effectively as pairwise Bradley-Terry, $K$-wise Bradley-Terry, and RL-VLM-F baselines. Across all environments, at least one PL ranking size ($K \in {3,4,5}$) consistently performs with or outperforms other methods in mean success rate. Unlike pairwise methods, which are restricted to $K=2$, PL supports different ranking sizes and can therefore be adapted to the environment and desired feedback format. Our best PL configuration achieves an 86% mean final success rate and matches the Oracle baseline on Drawer Open. Overall, these results demonstrate that listwise VLM preference supervision is a competitive and flexible approach to reward learning for reinforcement learning.