Policy Optimization in RLHF: The Impact of Out-of-preference Data

📄 arXiv: 2312.10584v2 📥 PDF

作者: Ziniu Li, Tian Xu, Yang Yu

分类: cs.LG

发布日期: 2023-12-17 (更新: 2024-02-25)

💡 一句话要点

研究表明，在RLHF中，利用偏好外数据进行策略优化能显著提升性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类反馈强化学习 偏好优化 奖励模型 策略优化 偏好外数据

📋 核心要点

  1. 现有基于人类反馈的强化学习（RLHF）方法在利用奖励模型的泛化能力方面存在不足。
  2. 论文提出利用偏好外数据进行策略优化，以提升奖励模型的泛化能力，从而改善对齐效果。
  3. 实验结果表明，RMB-PO+方法（利用偏好外数据）优于DPO，即使在提供良好特征表示的情况下，也能显著提升性能。

📝 摘要（中文）

本文研究了将智能体与人类偏好和价值观对齐的问题，重点考察了两种流行的对齐方法：直接偏好优化（DPO）和基于奖励模型的策略优化（RMB-PO）。同时，还考虑了RMB-PO的一个变体，称为RMB-PO+。这些方法，无论是显式还是隐式地，都从偏好数据中学习奖励模型，并在策略优化中使用不同的数据，以释放奖励模型的泛化能力。特别是，与DPO相比，RMB-PO额外使用了策略生成的数据，而RMB-PO+进一步利用了新的、无偏好的数据。我们通过受控的合成实验，检验了这种偏好外数据的影响。研究表明，DPO表现不佳，而RMB-PO+表现最佳。特别地，即使为策略模型提供了良好的特征表示，使用足够的偏好外数据进行策略优化也能通过利用奖励模型的泛化能力来显著提高性能。

🔬 方法详解

问题定义：论文旨在解决在基于人类反馈的强化学习（RLHF）中，如何更有效地利用奖励模型的泛化能力，从而更好地将智能体与人类偏好对齐的问题。现有方法，如DPO，在策略优化阶段仅依赖于偏好数据，限制了奖励模型的泛化能力，导致性能不佳。

核心思路：论文的核心思路是，通过在策略优化阶段引入偏好外数据（即不带人类偏好的数据），来增强奖励模型的泛化能力。作者认为，偏好外数据可以帮助策略模型更好地探索状态空间，从而更有效地利用奖励模型提供的信号。

技术框架：论文主要研究了三种方法：DPO、RMB-PO和RMB-PO+。DPO直接从偏好数据中学习策略。RMB-PO首先从偏好数据中学习奖励模型，然后使用策略生成的数据进行策略优化。RMB-PO+在RMB-PO的基础上，进一步利用新的、无偏好的数据进行策略优化。整体流程是：收集偏好数据 -> 训练奖励模型（DPO隐式训练） -> 策略优化（DPO直接优化，RMB-PO/RMB-PO+使用奖励模型和不同类型的数据）。

关键创新：论文的关键创新在于强调了偏好外数据在策略优化中的重要性，并提出了RMB-PO+方法，该方法通过显式地利用偏好外数据，显著提升了奖励模型的泛化能力和策略性能。与DPO相比，RMB-PO+的本质区别在于其策略优化阶段使用了更多类型的数据，从而更好地利用了奖励模型的泛化能力。

关键设计：论文使用了合成数据进行实验，以便更好地控制实验条件和评估不同方法的性能。具体的参数设置和网络结构在论文中未详细描述，但关键在于RMB-PO+方法在策略优化阶段使用了额外的、无偏好的数据。损失函数的设计可能与标准的RLHF方法类似，但具体细节未知。

📊 实验亮点

实验结果表明，DPO方法表现不佳，而RMB-PO+方法表现最佳，即使在为策略模型提供了良好的特征表示的情况下，使用足够的偏好外数据进行策略优化也能显著提高性能。具体的性能提升幅度未知，但实验结果明确表明了偏好外数据在RLHF中的重要作用。

🎯 应用场景

该研究成果可应用于各种需要与人类偏好对齐的智能体系统，例如对话系统、推荐系统、游戏AI等。通过利用偏好外数据，可以提升这些系统的性能和用户体验，使其更好地满足人类的需求和价值观。未来的研究可以探索更有效的偏好外数据利用方法，以及如何将该方法应用于更复杂的实际场景。

📄 摘要（原文）

Aligning intelligent agents with human preferences and values is important. This paper examines two popular alignment methods: Direct Preference Optimization (DPO) and Reward-Model-Based Policy Optimization (RMB-PO). A variant of RMB-PO, referred to as RMB-PO+ is also considered. These methods, either explicitly or implicitly, learn a reward model from preference data and differ in the data used for policy optimization to unlock the generalization ability of the reward model. In particular, compared with DPO, RMB-PO additionally uses policy-generated data, and RMB-PO+ further leverages new, preference-free data. We examine the impact of such out-of-preference data. Our study, conducted through controlled and synthetic experiments, demonstrates that DPO performs poorly, whereas RMB-PO+ performs the best. In particular, even when providing the policy model with a good feature representation, we find that policy optimization with adequate out-of-preference data significantly improves performance by harnessing the reward model's generalization capabilities.