OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration

📄 arXiv: 2604.02349 📥 PDF

作者: Yiqin Yang, Hao Hu, Yihuan Mao, Jin Zhang, Chengjie Wu, Yuhua Jiang, Xu Yang, Runpeng Xie, Yi Fan, Bo Liu, Yang Gao, Bo Xu, Chongjie Zhang

分类: cs.LG, cs.AI

发布日期: 2026-04-06

💡 一句话要点

提出OPRIDE以解决离线偏好强化学习中的低查询效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好强化学习 离线学习 查询效率 探索策略 折扣调度 机器人控制 智能系统

📋 核心要点

  1. 现有的偏好强化学习方法在获取人类反馈时效率低下，导致查询成本高昂，限制了其应用。
  2. 本文提出的OPRIDE算法通过优化探索策略和引入折扣调度机制，旨在提高离线PbRL的查询效率。
  3. 实验结果表明，OPRIDE在多种任务中表现优异，查询次数显著减少，且理论上保证了算法的效率。

📝 摘要（中文）

偏好强化学习（PbRL）能够避免复杂的奖励设计，更好地与人类意图对齐，展现出在多种现实应用中的巨大潜力。然而，获取人类反馈以评估偏好通常成本高昂且耗时，成为PbRL的一大障碍。本文针对离线PbRL中的低查询效率问题，提出了一种新算法OPRIDE，旨在提高查询效率。OPRIDE的两个关键特性包括：一种原则性探索策略，最大化查询的信息量，以及一种折扣调度机制，旨在减轻学习奖励函数的过度优化。通过实证评估，我们证明OPRIDE显著优于现有方法，以更少的查询实现更强的性能。

🔬 方法详解

问题定义：本文旨在解决离线偏好强化学习中的低查询效率问题。现有方法在探索过程中效率不足，且学习的奖励函数容易过度优化，导致查询成本高昂。

核心思路：OPRIDE通过引入一种高效的探索策略，最大化查询的信息量，同时采用折扣调度机制来减轻过度优化的问题，从而提高查询效率。

技术框架：OPRIDE的整体架构包括两个主要模块：一是信息量最大化的探索策略，二是动态调整的折扣调度机制。这两个模块协同工作，以提升算法的整体性能。

关键创新：OPRIDE的核心创新在于其探索策略和折扣调度机制的结合，这与现有方法的单一优化策略形成鲜明对比，显著提高了查询效率。

关键设计：在设计中，探索策略通过评估查询的潜在信息量来选择最优查询，而折扣调度机制则根据学习进度动态调整奖励函数的优化程度，确保算法在不同阶段的适应性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，OPRIDE在多种运动、操作和导航任务中均表现出色，相较于基线方法，查询次数减少了显著的比例，同时性能提升明显，验证了其在实际应用中的有效性和灵活性。

🎯 应用场景

OPRIDE的研究成果在多个领域具有广泛的应用潜力，包括机器人控制、自动驾驶、智能助手等。通过提高偏好强化学习的查询效率，该方法能够更快速地适应人类反馈，从而在实际应用中实现更高的智能化水平，提升用户体验。

📄 摘要（原文）

Preference-based reinforcement learning (PbRL) can help avoid sophisticated reward designs and align better with human intentions, showing great promise in various real-world applications. However, obtaining human feedback for preferences can be expensive and time-consuming, which forms a strong barrier for PbRL. In this work, we address the problem of low query efficiency in offline PbRL, pinpointing two primary reasons: inefficient exploration and overoptimization of learned reward functions. In response to these challenges, we propose a novel algorithm, \textbf{O}ffline \textbf{P}b\textbf{R}L via \textbf{I}n-\textbf{D}ataset \textbf{E}xploration (OPRIDE), designed to enhance the query efficiency of offline PbRL. OPRIDE consists of two key features: a principled exploration strategy that maximizes the informativeness of the queries and a discount scheduling mechanism aimed at mitigating overoptimization of the learned reward functions. Through empirical evaluations, we demonstrate that OPRIDE significantly outperforms prior methods, achieving strong performance with notably fewer queries. Moreover, we provide theoretical guarantees of the algorithm's efficiency. Experimental results across various locomotion, manipulation, and navigation tasks underscore the efficacy and versatility of our approach.