Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study

📄 arXiv: 2404.10719v3 📥 PDF

作者: Shusheng Xu, Wei Fu, Jiaxuan Gao, Wenjie Ye, Weilin Liu, Zhiyu Mei, Guangju Wang, Chao Yu, Yi Wu

分类: cs.CL

发布日期: 2024-04-16 (更新: 2024-10-10)

备注: 16 pages, 2 figures, 14 tables

期刊: ICML 2024

🔗 代码/项目: GITHUB

💡 一句话要点

比较DPO与PPO在大语言模型对齐中的优劣

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 大语言模型 对齐方法 代码生成 算法比较 性能优化

📋 核心要点

  1. 现有的RLHF方法在不同基准测试中的表现存在差异，尤其是DPO与PPO的对比引发了广泛关注。
  2. 论文通过理论分析和实证研究，系统性地比较了DPO与PPO的算法特性，揭示了它们的优缺点。
  3. 实验结果表明，PPO在所有对齐方法中表现最佳，尤其在代码生成任务中取得了显著的领先优势。

📝 摘要（中文）

强化学习从人类反馈（RLHF）是当前对齐大型语言模型（LLMs）与人类偏好的主要方法。现有的RLHF方法大致可分为基于奖励和无奖励的方法。本文通过理论和实证研究，探讨了直接偏好优化（DPO）与近端策略优化（PPO）在算法属性上的差异，发现DPO可能存在基本局限。同时，深入分析了PPO的关键因素，结果显示PPO在所有测试中超越其他对齐方法，并在复杂的代码竞赛中取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在探讨DPO是否优于PPO，分析现有方法在对齐大型语言模型时的不足，尤其是PPO在某些基准测试中的表现不佳。

核心思路：通过理论和实证研究，深入分析DPO和PPO的算法特性，揭示DPO的潜在局限性，并探讨PPO的最佳表现因素。

技术框架：研究首先定义了RLHF的基本框架，然后对DPO和PPO进行了系统的比较，最后在多个RLHF测试平台上进行了基准测试。

关键创新：论文的创新在于系统性地揭示了DPO的基本局限性，并通过实证数据证明PPO在多种任务中的优越性，尤其是在代码生成方面。

关键设计：在实验中，PPO的参数设置和损失函数设计经过精心调整，以确保其在对齐任务中的最佳性能，具体细节包括奖励模型的构建和策略优化的实现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PPO在所有对齐方法中均表现出色，尤其在复杂的代码生成任务中，PPO的性能超越了其他方法，取得了最先进的结果，展示了其在实际应用中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和代码生成等。通过优化对齐方法，可以提升大型语言模型在实际应用中的表现，使其更好地满足用户需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) is currently the most widely used method to align large language models (LLMs) with human preferences. Existing RLHF methods can be roughly categorized as either reward-based or reward-free. Novel applications such as ChatGPT and Claude leverage reward-based methods that first learn a reward model and apply actor-critic algorithms, such as Proximal Policy Optimization (PPO). However, in academic benchmarks, state-of-the-art results are often achieved via reward-free methods, such as Direct Preference Optimization (DPO). Is DPO truly superior to PPO? Why does PPO perform poorly on these benchmarks? In this paper, we first conduct both theoretical and empirical studies on the algorithmic properties of DPO and show that DPO may have fundamental limitations. Moreover, we also comprehensively examine PPO and reveal the key factors for the best performances of PPO in fine-tuning LLMs. Finally, we benchmark DPO and PPO across a collection of RLHF testbeds, ranging from dialogue to code generation. Experiment results demonstrate that PPO is able to surpass other alignment methods in all cases and achieve state-of-the-art results in challenging code competitions. Our code is publicly available at https://github.com/openpsi-project/ReaLHF.