From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function

📄 arXiv: 2404.12358v2 📥 PDF

作者: Rafael Rafailov, Joey Hejna, Ryan Park, Chelsea Finn

分类: cs.LG

发布日期: 2024-04-18 (更新: 2024-08-12)

备注: COLM 2024

💡 一句话要点

提出DPO算法以解决传统RLHF方法的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类反馈强化学习 直接偏好优化 逆Q学习 马尔可夫决策过程 信用分配 生成模型 多轮对话 策略优化

📋 核心要点

  1. 现有的RLHF方法在复杂性和对齐性上存在挑战，导致生成模型的效果不理想。
  2. 论文提出通过在token级别MDP中推导DPO算法，作为一种逆Q学习算法，解决了传统RLHF与DPO之间的差异。
  3. 实验证明，DPO在token级别的解释能力使其能够进行信用分配，并且简单的束搜索在性能上显著优于基础DPO策略。

📝 摘要（中文）

人类反馈强化学习（RLHF）在最新一代生成AI模型的成功中发挥了关键作用。针对传统RLHF流程的复杂性，直接偏好优化（DPO）作为一种替代方法应运而生。尽管DPO与标准RLHF解决相同的目标，但两者之间存在不匹配。标准RLHF在特定的token级别马尔可夫决策过程（MDP）中应用强化学习，而DPO则被视为一个整体响应的赌博问题。本文理论上证明了DPO可以在token级别MDP中作为一种通用的逆Q学习算法推导，满足贝尔曼方程。基于理论结果，提供了三项实证见解，展示了DPO在token级别的解释能力、与经典搜索算法的等价性以及参考策略选择对隐式奖励的影响。

🔬 方法详解

问题定义：本文旨在解决传统RLHF与DPO之间的对齐问题，现有方法在token级别的应用上存在不匹配，影响了生成模型的性能。

核心思路：通过在token级别的马尔可夫决策过程（MDP）中推导DPO算法，提供了一种新的逆Q学习框架，能够更好地进行信用分配和策略优化。

技术框架：整体架构包括三个主要模块：token级别MDP的构建、DPO算法的推导以及与经典搜索算法的比较。每个模块都围绕如何在生成模型中实现有效的反馈对齐进行设计。

关键创新：最重要的创新在于将DPO视为一种逆Q学习算法，并证明其满足贝尔曼方程，这一理论框架为理解和优化生成模型提供了新的视角。

关键设计：在算法设计中，关键参数包括token级别的奖励结构和损失函数的选择，确保DPO能够有效地进行信用分配和策略优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DPO在token级别的处理能力使其能够进行有效的信用分配，且与经典搜索算法（如MCTS）等价。简单的束搜索在DPO策略上实现了显著的性能提升，具体提升幅度未在摘要中明确，但实验结果显示了其有效性。

🎯 应用场景

该研究的潜在应用领域包括多轮对话中的信息引导、推理任务、智能体应用以及多模型系统的端到端训练。通过改进的DPO算法，生成模型在处理复杂任务时能够更好地理解和响应用户需求，提升交互质量。

📄 摘要（原文）

Reinforcement Learning From Human Feedback (RLHF) has been critical to the success of the latest generation of generative AI models. In response to the complex nature of the classical RLHF pipeline, direct alignment algorithms such as Direct Preference Optimization (DPO) have emerged as an alternative approach. Although DPO solves the same objective as the standard RLHF setup, there is a mismatch between the two approaches. Standard RLHF deploys reinforcement learning in a specific token-level MDP, while DPO is derived as a bandit problem in which the whole response of the model is treated as a single arm. In this work we rectify this difference. We theoretically show that we can derive DPO in the token-level MDP as a general inverse Q-learning algorithm, which satisfies the Bellman equation. Using our theoretical results, we provide three concrete empirical insights. First, we show that because of its token level interpretation, DPO is able to perform some type of credit assignment. Next, we prove that under the token level formulation, classical search-based algorithms, such as MCTS, which have recently been applied to the language generation space, are equivalent to likelihood-based search on a DPO policy. Empirically we show that a simple beam search yields meaningful improvement over the base DPO policy. Finally, we show how the choice of reference policy causes implicit rewards to decline during training. We conclude by discussing applications of our work, including information elicitation in multi-turn dialogue, reasoning, agentic applications and end-to-end training of multi-model systems.