Generalized Preference Optimization: A Unified Approach to Offline Alignment

📄 arXiv: 2402.05749v2 📥 PDF

作者: Yunhao Tang, Zhaohan Daniel Guo, Zeyu Zheng, Daniele Calandriello, Rémi Munos, Mark Rowland, Pierre Harvey Richemond, Michal Valko, Bernardo Ávila Pires, Bilal Piot

分类: cs.LG, cs.AI

发布日期: 2024-02-08 (更新: 2024-05-28)

备注: Accepted at ICML 2023 main conference

💡 一句话要点

提出广义偏好优化以统一离线对齐方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线偏好优化 广义偏好优化 正则化 模型对齐 算法统一性

📋 核心要点

  1. 现有的离线偏好优化方法在正则化和性能之间的权衡上存在挑战，难以统一不同算法的优势。
  2. 论文提出的广义偏好优化（GPO）通过引入一类参数化的凸函数，提供了对偏好优化的统一视角，涵盖多种现有算法。
  3. 实验结果表明，不同的GPO变体在正则化与性能之间能够实现相似的权衡，提供了新的算法工具和经验见解。

📝 摘要（中文）

离线偏好优化允许直接从离线数据中微调大型模型，并在最近的对齐实践中证明了其有效性。我们提出了广义偏好优化（GPO），这是一类由一般凸函数参数化的离线损失。GPO为偏好优化提供了统一的视角，涵盖了现有算法如DPO、IPO和SLiC，同时自然引入了新变体。GPO框架还揭示了离线算法如何通过定义损失的凸函数来强制正则化。我们的分析和实验揭示了离线正则化与经典RLHF公式中KL散度正则化之间的联系和细微差别。在类似于Gao等人2023年的受控环境中，我们还展示了不同的GPO变体在正则化与性能之间实现了相似的权衡，尽管超参数的最优值可能有所不同。总的来说，我们的结果为对齐实践者提供了新的算法工具和经验见解。

🔬 方法详解

问题定义：本论文旨在解决现有离线偏好优化方法在正则化与性能之间的权衡问题，现有方法难以统一不同算法的优势，导致效果不理想。

核心思路：论文提出的广义偏好优化（GPO）通过引入一类参数化的凸函数，提供了对偏好优化的统一视角，能够涵盖现有算法如DPO、IPO和SLiC，同时引入新的变体。

技术框架：GPO框架的整体架构包括定义损失的凸函数、正则化机制以及与现有算法的关系分析。主要模块包括损失函数设计、正则化策略和实验验证。

关键创新：最重要的技术创新点在于通过引入广义的凸函数，统一了多种偏好优化算法，并揭示了离线正则化与KL散度正则化之间的细微差别。

关键设计：关键设计包括损失函数的选择、正则化参数的设置以及不同GPO变体的超参数优化，确保在不同实验条件下的性能稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，不同的GPO变体在正则化与性能之间实现了相似的权衡，尽管超参数的最优值有所不同。具体来说，GPO在多个基准测试中表现出优于传统方法的性能，提供了新的算法工具。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、推荐系统和强化学习等。通过优化模型的对齐能力，GPO可以提升模型在实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline preference optimization allows fine-tuning large models directly from offline data, and has proved effective in recent alignment practices. We propose generalized preference optimization (GPO), a family of offline losses parameterized by a general class of convex functions. GPO enables a unified view over preference optimization, encompassing existing algorithms such as DPO, IPO and SLiC as special cases, while naturally introducing new variants. The GPO framework also sheds light on how offline algorithms enforce regularization, through the design of the convex function that defines the loss. Our analysis and experiments reveal the connections and subtle differences between the offline regularization and the KL divergence regularization intended by the canonical RLHF formulation. In a controlled setting akin to Gao et al 2023, we also show that different GPO variants achieve similar trade-offs between regularization and performance, though the optimal values of hyper-parameter might differ as predicted by theory. In all, our results present new algorithmic toolkits and empirical insights to alignment practitioners.