REBEL: Reinforcement Learning via Regressing Relative Rewards

📄 arXiv: 2404.16767v4 📥 PDF

作者: Zhaolin Gao, Jonathan D. Chang, Wenhao Zhan, Owen Oertell, Gokul Swamy, Kianté Brantley, Thorsten Joachims, J. Andrew Bagnell, Jason D. Lee, Wen Sun

分类: cs.LG, cs.CL, cs.CV

发布日期: 2024-04-25 (更新: 2024-12-10)

备注: New experimental results on general chat

💡 一句话要点

提出REBEL算法以简化生成模型的强化学习优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 生成模型 相对奖励 策略优化 轻量级算法 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的PPO算法在实现上复杂，依赖多种启发式方法，导致收敛性不稳定。
  2. REBEL算法通过回归相对奖励简化了策略优化过程，提供了一种轻量级的实现方式。
  3. 在微调Llama-3-8B-Instruct时，REBEL在多个基准测试中表现优异，展现出更高的计算效率。

📝 摘要（中文）

尽管最初为连续控制问题开发，近端策略优化（PPO）已成为多种强化学习应用的主力工具，包括生成模型的微调。然而，PPO需要多种启发式方法以实现稳定收敛，并且对这些组件的具体实现非常敏感。为此，本文提出了REBEL算法，将策略优化问题简化为回归两个完成之间的相对奖励，从而实现轻量级实现。理论上，我们证明了自然策略梯度等基本强化学习算法可以视为REBEL的变体，从而在收敛性和样本复杂度方面匹配现有的理论保证。REBEL还能够有效整合离线数据，并扩展以处理实际中常见的非传递偏好。实验证明，REBEL在语言建模和图像生成方面提供了统一的方法，其性能与PPO和DPO相当或更强，同时实现更简单且计算效率更高。

🔬 方法详解

问题定义：本文旨在解决现有PPO算法在强化学习中的复杂性和不稳定性问题。PPO对启发式方法的依赖使得其在不同实现中表现不一，影响了收敛性和效率。

核心思路：REBEL算法通过将策略优化问题转化为回归两个生成结果之间的相对奖励，简化了强化学习的实现过程。这种设计使得算法在处理生成模型时更加高效且易于实现。

技术框架：REBEL的整体架构包括相对奖励回归模块、策略更新模块和数据整合模块。相对奖励回归模块负责计算生成结果的相对奖励，策略更新模块则基于这些奖励更新策略。

关键创新：REBEL的主要创新在于将强化学习的核心问题简化为相对奖励的回归，这与传统方法的复杂策略更新机制形成鲜明对比。此方法不仅提高了实现的简洁性，还增强了算法的理论基础。

关键设计：REBEL在损失函数设计上采用了相对奖励的回归损失，确保了策略更新的有效性。此外，算法能够灵活整合离线数据，并设计了处理非传递偏好的机制，以适应实际应用中的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在微调Llama-3-8B-Instruct的实验中，REBEL在AlpacaEval 2.0、MT-Bench和Open LLM Leaderboard等基准测试中表现出色，展现出与PPO和DPO相当或更优的性能，同时实现了更高的计算效率。

🎯 应用场景

REBEL算法在生成模型的微调和优化中具有广泛的应用潜力，尤其是在自然语言处理和计算机视觉领域。其轻量级实现和高效的计算性能使其适合于大规模模型的训练和优化，未来可能推动更多智能系统的开发与应用。

📄 摘要（原文）

While originally developed for continuous control problems, Proximal Policy Optimization (PPO) has emerged as the work-horse of a variety of reinforcement learning (RL) applications, including the fine-tuning of generative models. Unfortunately, PPO requires multiple heuristics to enable stable convergence (e.g. value networks, clipping), and is notorious for its sensitivity to the precise implementation of these components. In response, we take a step back and ask what a minimalist RL algorithm for the era of generative models would look like. We propose REBEL, an algorithm that cleanly reduces the problem of policy optimization to regressing the relative reward between two completions to a prompt in terms of the policy, enabling strikingly lightweight implementation. In theory, we prove that fundamental RL algorithms like Natural Policy Gradient can be seen as variants of REBEL, which allows us to match the strongest known theoretical guarantees in terms of convergence and sample complexity in the RL literature. REBEL can also cleanly incorporate offline data and be extended to handle the intransitive preferences we frequently see in practice. Empirically, we find that REBEL provides a unified approach to language modeling and image generation with stronger or similar performance as PPO and DPO, all while being simpler to implement and more computationally efficient than PPO. When fine-tuning Llama-3-8B-Instruct, REBEL achieves strong performance in AlpacaEval 2.0, MT-Bench, and Open LLM Leaderboard.