Dataset Reset Policy Optimization for RLHF

📄 arXiv: 2404.08495v3 📥 PDF

作者: Jonathan D. Chang, Wenhao Zhan, Owen Oertell, Kianté Brantley, Dipendra Misra, Jason D. Lee, Wen Sun

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-04-12 (更新: 2024-04-16)

备注: 28 pages, 6 tables, 3 Figures, 3 Algorithms

🔗 代码/项目: GITHUB

💡 一句话要点

提出数据集重置策略优化以提升RLHF性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类偏好 生成模型 数据集重置 策略优化 奖励模型 自然语言处理

📋 核心要点

  1. 现有的RLHF方法在利用离线偏好数据集时，往往未能充分利用其中的有价值状态，导致生成效果不佳。
  2. 本文提出的DR-PO算法通过数据集重置，将离线偏好数据集中的状态直接引入在线策略优化，提升了学习效率和生成质量。
  3. 实验结果显示，DR-PO在TL;DR摘要生成和Anthropic HH数据集上，相较于PPO和DPO，生成质量显著提高，GPT-4的胜率更高。

📝 摘要（中文）

基于人类偏好的强化学习（RLHF）是一种流行的生成模型微调范式，已产生如GPT-4等优秀模型。该框架通常包括两个步骤：从离线偏好数据集中学习奖励模型，然后运行在线RL以优化学习到的奖励模型。本文提出了一种新的RLHF算法——数据集重置策略优化（DR-PO），通过将离线偏好数据集直接整合进在线策略训练过程，显著提升了生成质量。理论上，DR-PO在有限样本复杂度下至少能达到离线数据集中覆盖的任何策略的表现。实验结果表明，DR-PO在TL;DR摘要生成和Anthropic Helpful Harmful数据集上优于传统的PPO和DPO方法。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法在利用离线偏好数据集时未能充分利用有价值状态的问题，导致生成效果不理想。

核心思路：提出的数据集重置策略优化（DR-PO）算法，通过将离线数据集中的状态直接引入在线策略优化过程，避免了从初始状态分布开始的低效学习。

技术框架：DR-PO算法的整体架构包括两个主要阶段：首先从离线偏好数据集中学习奖励模型，然后在在线策略训练中通过重置策略优化器到离线数据集中的状态进行训练。

关键创新：DR-PO的核心创新在于引入数据集重置机制，使得策略优化器能够直接利用离线数据集中的信息，从而提高学习效率和生成质量。这一方法与传统的从初始状态分布开始的策略优化方法本质上不同。

关键设计：在算法设计中，关键参数包括重置策略的选择和奖励模型的训练方式，损失函数的设计也考虑了如何更好地利用离线数据集的信息，以确保优化过程的有效性。

📊 实验亮点

实验结果表明，DR-PO在TL;DR摘要生成和Anthropic HH数据集上，生成质量显著优于PPO和DPO，具体表现为GPT-4的胜率更高，验证了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和内容生成等，能够有效提升生成模型在特定任务上的表现。未来，DR-PO方法有望在更多的生成任务中得到应用，推动RLHF技术的发展与应用。

📄 摘要（原文）

Reinforcement Learning (RL) from Human Preference-based feedback is a popular paradigm for fine-tuning generative models, which has produced impressive models such as GPT-4 and Claude3 Opus. This framework often consists of two steps: learning a reward model from an offline preference dataset followed by running online RL to optimize the learned reward model. In this work, leveraging the idea of reset, we propose a new RLHF algorithm with provable guarantees. Motivated by the fact that offline preference dataset provides informative states (i.e., data that is preferred by the labelers), our new algorithm, Dataset Reset Policy Optimization (DR-PO), integrates the existing offline preference dataset into the online policy training procedure via dataset reset: it directly resets the policy optimizer to the states in the offline dataset, instead of always starting from the initial state distribution. In theory, we show that DR-PO learns to perform at least as good as any policy that is covered by the offline dataset under general function approximation with finite sample complexity. In experiments, we demonstrate that on both the TL;DR summarization and the Anthropic Helpful Harmful (HH) dataset, the generation from DR-PO is better than that from Proximal Policy Optimization (PPO) and Direction Preference Optimization (DPO), under the metric of GPT4 win-rate. Code for this work can be found at https://github.com/Cornell-RL/drpo.