Reinforcement Learning from Human Feedback with Active Queries

📄 arXiv: 2402.09401v2 📥 PDF

作者: Kaixuan Ji, Jiafan He, Quanquan Gu

分类: cs.LG, cs.AI, cs.CL, math.OC, stat.ML

发布日期: 2024-02-14 (更新: 2025-02-11)

备注: 28 pages, 1 figure, 4 table

💡 一句话要点

提出基于主动查询的强化学习方法以提高人类反馈效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 主动学习 语言模型 偏好优化 查询效率 生成模型

📋 核心要点

  1. 现有的RLHF方法通常需要大量的人类标注数据，收集成本高且效率低下。
  2. 本文提出了一种基于主动查询的近端策略优化算法（APPO），通过优化查询效率来解决偏好数据收集问题。
  3. 实验结果显示，ADPO在查询人类偏好数量减少一半的情况下，性能与最先进的DPO方法相当。

📝 摘要（中文）

对齐大型语言模型（LLM）与人类偏好在构建现代生成模型中至关重要，可以通过人类反馈的强化学习（RLHF）实现。尽管现有RLHF方法表现优越，但通常需要大量人类标注的偏好数据，收集成本高昂。本文受主动学习成功的启发，提出了查询高效的RLHF方法。我们首先将对齐问题形式化为上下文对抗赌博问题，并设计了一种基于主动查询的近端策略优化（APPO）算法，具有$ ilde{O}(d^2/Δ)$的实例依赖后悔界限和$ ilde{O}(d^2/Δ^2)$的查询复杂度。随后，我们提出了ADPO，这是一种基于直接偏好优化（DPO）的实用算法，并将其应用于LLM的微调。实验结果表明，ADPO在仅进行约一半的人类偏好查询的情况下，达到了与最先进的DPO方法相当的性能。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法中对人类偏好数据依赖过重的问题。现有方法需要大量标注数据，导致高昂的收集成本和低效的学习过程。

核心思路：论文的核心思路是将对齐问题形式化为上下文对抗赌博问题，并设计主动查询机制，以提高偏好数据的收集效率，从而减少对人类标注的需求。

技术框架：整体架构包括两个主要模块：首先是上下文对抗赌博框架的建立，其次是基于主动查询的近端策略优化（APPO）算法的实现。该框架通过动态选择查询样本来优化学习过程。

关键创新：最重要的技术创新在于提出了主动查询机制，使得在保持性能的同时，显著减少了对人类偏好查询的数量。这一方法与传统的RLHF方法相比，具有更高的查询效率。

关键设计：在算法设计中，关键参数包括特征空间的维度$d$和所有上下文的次优间隙$Δ$，并通过实例依赖的后悔界限和查询复杂度进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ADPO在仅进行约一半的人类偏好查询的情况下，达到了与最先进的DPO方法相当的性能，展示了其在查询效率上的显著提升。这一结果表明，主动查询机制在RLHF中的有效性，为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和个性化推荐等。通过提高人类反馈的收集效率，能够在更短的时间内训练出更符合用户偏好的生成模型，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Aligning large language models (LLM) with human preference plays a key role in building modern generative models and can be achieved by reinforcement learning from human feedback (RLHF). Despite their superior performance, current RLHF approaches often require a large amount of human-labelled preference data, which is expensive to collect. In this paper, inspired by the success of active learning, we address this problem by proposing query-efficient RLHF methods. We first formalize the alignment problem as a contextual dueling bandit problem and design an active-query-based proximal policy optimization (APPO) algorithm with an $\tilde{O}(d^2/Δ)$ instance-dependent regret bound and an $\tilde{O}(d^2/Δ^2)$ query complexity, where $d$ is the dimension of feature space and $Δ$ is the sub-optimality gap over all the contexts. We then propose ADPO, a practical version of our algorithm based on direct preference optimization (DPO) and apply it to fine-tuning LLMs. Our experiments show that ADPO, while only making about half of queries for human preference, matches the performance of the state-of-the-art DPO method.