Transforming and Combining Rewards for Aligning Large Language Models

📄 arXiv: 2402.00742v2 📥 PDF

作者: Zihao Wang, Chirag Nagpal, Jonathan Berant, Jacob Eisenstein, Alex D'Amour, Sanmi Koyejo, Victor Veitch

分类: cs.CL, cs.AI

发布日期: 2024-02-01 (更新: 2024-07-19)

💡 一句话要点

提出LSC变换以优化语言模型的奖励对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 语言模型 对齐方法 机器学习 自然语言处理 RLHF LSC变换

📋 核心要点

  1. 现有方法在对齐语言模型时，面临奖励模型变换选择和多奖励模型组合的挑战。
  2. 本文提出LSC变换，通过对数-sigmoid函数改善奖励模型，强调提升表现不佳的输出。
  3. 实验结果显示，使用RLHF对齐语言模型时，LSC变换在性能上显著优于未变换的基线方法。

📝 摘要（中文）

对齐语言模型与人类偏好的常见方法是从偏好数据中学习奖励模型，然后利用该模型更新语言模型。本文研究了该方法中出现的两个相关问题：首先，任何单调变换的奖励模型都能保持偏好排名，但是否存在更优选择？其次，如何将多个奖励模型进行有效组合？通过对对齐过程的概率解释，本文提出了一种自然的奖励变换选择，即对中心化奖励应用对数- sigmoid函数，称为“LSC变换”。该变换强调改善表现不佳的输出，缓解了欠拟合和奖励黑客问题，并通过将求和与逻辑合取关联，实现了奖励的原则性聚合。实验结果表明，使用RLHF对语言模型进行对齐时，LSC变换显著优于基线方法。

🔬 方法详解

问题定义：本文解决的具体问题是如何选择合适的奖励模型变换以及如何有效组合多个奖励模型。现有方法在这两个方面存在不足，可能导致对齐效果不佳。

核心思路：论文的核心思路是通过对奖励模型进行对数-sigmoid变换（LSC变换），强调提升表现不佳的输出，从而改善对齐效果。此设计旨在缓解欠拟合和奖励黑客问题。

技术框架：整体架构包括两个主要模块：首先是奖励模型的学习与变换，其次是基于变换后的奖励进行语言模型的更新。通过这种方式，能够实现对多个属性的有效对齐。

关键创新：最重要的技术创新点是提出了LSC变换，这种变换不仅强调提升低评分输出，还将奖励的求和与逻辑合取相联系，确保输出在所有测量属性上都是“良好”的。

关键设计：在技术细节上，LSC变换应用于中心化的奖励，确保变换后的奖励能够有效反映输出的质量。损失函数设计上，结合了对齐目标与奖励模型的优化，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LSC变换的语言模型在对齐人类偏好方面表现出显著提升，相较于未变换的基线方法，性能提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、内容生成和推荐系统等。通过优化语言模型的对齐过程，可以提高模型的实用性和安全性，减少不良输出的风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

A common approach for aligning language models to human preferences is to first learn a reward model from preference data, and then use this reward model to update the language model. We study two closely related problems that arise in this approach. First, any monotone transformation of the reward model preserves preference ranking; is there a choice that is better'' than others? Second, we often wish to align language models to multiple properties: how should we combine multiple reward models? Using a probabilistic interpretation of the alignment procedure, we identify a natural choice for transformation for (the common case of) rewards learned from Bradley-Terry preference models. The derived transformation is straightforward: we apply a log-sigmoid function to the centered rewards, a method we termLSC-transformation'' (log-sigmoid-centered transformation). This transformation has two important properties. First, it emphasizes improving poorly-performing outputs, rather than outputs that already score well. This mitigates both underfitting (where some prompts are not improved) and reward hacking (where the model learns to exploit misspecification of the reward model). Second, it enables principled aggregation of rewards by linking summation to logical conjunction: the sum of transformed rewards corresponds to the probability that the output is ``good'' in all measured properties, in a sense we make precise. Experiments aligning language models to be both helpful and harmless using RLHF show substantial improvements over the baseline (non-transformed) approach.