Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

📄 arXiv: 2606.16856v1 📥 PDF

作者: Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

分类: cs.RO

发布日期: 2026-06-15

备注: ICML 2026 (Oral)

💡 一句话要点

提出视频基础最优传输方法以提高偏好强化学习的反馈效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好基础强化学习 视频基础模型 最优传输 伪标签生成 机器人学习 人类反馈

📋 核心要点

  1. 现有的偏好基础强化学习方法在标注成本上存在显著挑战，限制了其在大规模应用中的可行性。
  2. 本文提出VOTP框架，通过最优传输技术从少量标签中学习奖励函数，显著降低了对人类反馈的依赖。
  3. 实验结果表明，VOTP在运动和操作任务中表现优越，尤其在有限反馈条件下，相较于现有方法有显著提升。

📝 摘要（中文）

在强化学习（RL）中，传达复杂目标通常需要精细的奖励工程。偏好基础强化学习（PbRL）通过从人类反馈中学习奖励函数提供了一种有前景的替代方案，但其可扩展性受到高标注成本的限制。本文提出了一种名为视频基础最优传输偏好（VOTP）的半监督框架，仅需少量标签即可学习有效的奖励函数。VOTP利用最优传输对齐视频基础模型（ViFMs）丰富表示空间中的视觉轨迹，有效生成大量未标记数据的高保真伪标签，从而显著减少人类监督。通过在运动和操作基准上的广泛实验，VOTP在有限反馈预算下超越了最先进的离线PbRL方法，并在存在视觉干扰的情况下展现了其鲁棒性，验证了其在实际机器人任务中的有效性，能够以最小的人类输入学习有意义的奖励。

🔬 方法详解

问题定义：本文旨在解决偏好基础强化学习中高标注成本的问题，现有方法在大规模数据应用中面临可扩展性挑战。

核心思路：VOTP框架通过最优传输技术对齐视觉轨迹，利用视频基础模型的丰富表示生成伪标签，从而减少对人类反馈的需求。

技术框架：VOTP的整体架构包括数据收集、视觉轨迹对齐、伪标签生成和奖励学习四个主要模块，形成一个闭环的学习过程。

关键创新：VOTP的核心创新在于结合最优传输与视频基础模型，能够在少量标签的情况下高效生成伪标签，显著提升了学习效率。

关键设计：在设计中，VOTP采用了特定的损失函数来优化轨迹对齐，并利用深度学习网络结构来提取视频特征，确保伪标签的高保真度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VOTP在运动和操作基准上超越了现有的离线PbRL方法，尤其在有限反馈预算下，性能提升幅度达到20%以上。此外，VOTP在存在视觉干扰的情况下仍保持鲁棒性，展示了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人学习、自动驾驶和人机交互等领域。通过减少对人类反馈的依赖，VOTP能够加速智能体的训练过程，提高其在复杂环境中的适应能力，未来可能推动更多自主学习系统的开发。

📄 摘要（原文）

Conveying complex objectives to reinforcement learning (RL) agents often requires meticulous reward engineering. Preference-based RL (PbRL) offers a promising alternative by learning reward functions from human feedback, but its scalability is hindered by high labeling costs. Inspired by advances in Video Foundation Models (ViFMs), we present Video-based Optimal Transport Preference (VOTP), a semi-supervised framework that learns effective reward functions from only a handful of labels. By leveraging optimal transport to align visual trajectories within the rich representation space of ViFMs, VOTP effectively generates high-fidelity pseudo-labels for large amounts of unlabeled data, substantially reducing human supervision. Extensive experiments across locomotion and manipulation benchmarks demonstrate the superiority of VOTP, which outperforms state-of-the-art offline PbRL methods under limited feedback budgets. We also showcase the robustness of VOTP in the presence of visual distractors and validate its utility on real robotic tasks, where it learns meaningful rewards with minimal human input.