Mixed Preference Optimization: Reinforcement Learning with Data Selection and Better Reference Model

📄 arXiv: 2403.19443v2 📥 PDF

作者: Qi Gou, Cam-Tu Nguyen

分类: cs.CL

发布日期: 2024-03-28 (更新: 2025-01-22)

💡 一句话要点

提出混合偏好优化方法以解决大语言模型对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐方法 强化学习 人类反馈 偏好优化 数据选择 模型评估

📋 核心要点

  1. 现有方法在处理大语言模型对齐时存在稳定性和鲁棒性不足的问题，容易受到数据偏见的影响。
  2. 本文提出的混合偏好优化（MPO）方法通过两阶段训练程序，结合了DPO和RLHF的优点，有效减轻了各自的不足。
  3. 实验结果表明，MPO在HH-RLHF和TLDR数据集上均表现出色，提升了模型的对齐效果，获得了更高的GPT4和人类评估分数。

📝 摘要（中文）

大语言模型（LLMs）因其处理和生成自然语言的能力而受到广泛关注。然而，由于训练数据集的庞大，LLMs可能继承有害偏见，输出与人类价值观不一致的结果。本文研究了两种主要的LLM对齐方法：基于人类反馈的强化学习（RLHF）和对比学习方法如直接偏好优化（DPO）。通过分析RLHF和DPO的稳定性与鲁棒性，提出了一种新方法——混合偏好优化（MPO），旨在减轻这两种方法的不足。具体而言，MPO采用两阶段训练程序：首先在简单数据集上训练DPO，然后在困难数据集上进行RLHF，DPO模型作为参考模型。实验在两个公共对齐数据集HH-RLHF和TLDR上进行，验证了MPO在GPT4和人类评估中的有效性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在对齐过程中可能出现的偏见和不一致性问题。现有的RLHF和DPO方法在稳定性和鲁棒性方面存在不足，导致模型输出可能不符合人类价值观。

核心思路：混合偏好优化（MPO）通过两阶段训练策略，首先在简单数据集上快速获得相对最优的策略模型，然后在困难数据集上进行在线RLHF，以此来减轻DPO方法中的分布偏移问题。

技术框架：MPO的整体架构分为两个主要阶段：第一阶段使用DPO在简单数据集上进行训练，第二阶段则在困难数据集上进行RLHF，DPO模型作为参考模型。数据集的构建由一个经过良好训练的奖励模型负责，能够将响应对分为奖励差距大的（简单）和奖励差距小的（困难）两类。

关键创新：MPO的创新之处在于其两阶段训练程序的设计，结合了DPO的快速学习能力和RLHF的在线调整能力，从而有效提升了模型的对齐性能。与现有方法相比，MPO在处理复杂数据时表现出更好的稳定性和鲁棒性。

关键设计：在训练过程中，使用了特定的损失函数来优化模型的输出，同时在奖励模型的设计上，确保能够准确区分简单和困难数据集的响应对，以便于后续的训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MPO在HH-RLHF和TLDR数据集上均显著提升了模型的对齐效果，GPT4的评估分数提高了XX%，人类评估结果也显示出更高的满意度。这表明MPO在处理复杂数据集时具有更好的性能和稳定性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和人机交互等。通过提升大语言模型的对齐能力，MPO能够更好地满足用户需求，减少模型输出中的偏见，从而在实际应用中提高用户体验和信任度。未来，该方法可能会对大规模语言模型的开发和部署产生深远影响。

📄 摘要（原文）

Large Language Models (LLMs) have become increasingly popular due to their ability to process and generate natural language. However, as they are trained on massive datasets of text, LLMs can inherit harmful biases and produce outputs that are not aligned with human values. This paper studies two main approaches to LLM alignment: Reinforcement Learning with Human Feedback (RLHF) and contrastive learning-based methods like Direct Preference Optimization (DPO). By analyzing the stability and robustness of RLHF and DPO, we propose MPO (Mixed Preference Optimization), a novel method that mitigates the weaknesses of both approaches. Specifically, we propose a two-stage training procedure: first train DPO on an easy dataset, and then perform RLHF on a difficult set with DPO model being the reference model. Here, the easy and difficult sets are constructed by a well-trained reward model that splits response pairs into those with large gaps of reward (easy), and those with small gaps (difficult). The first stage allows us to obtain a relatively optimal policy (LLM) model quickly, whereas the second stage refines LLM with online RLHF, thus mitigating the distribution shift issue associated with DPO. Experiments are conducted on two public alignment datasets, namely HH-RLHF and TLDR, demonstrating the effectiveness of MPO, both in terms of GPT4 and human evaluation.