WARM: On the Benefits of Weight Averaged Reward Models

📄 arXiv: 2401.12187v1 📥 PDF

作者: Alexandre Ramé, Nino Vieillard, Léonard Hussenot, Robert Dadashi, Geoffrey Cideron, Olivier Bachem, Johan Ferret

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-01-22

备注: 14 pages, 9 figures

💡 一句话要点

提出WARM以解决奖励模型中的奖励黑客问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 强化学习 人类偏好对齐 权重平均 自然语言处理 模型鲁棒性 分布偏移 文本摘要

📋 核心要点

  1. 现有方法在对齐大型语言模型与人类偏好时面临奖励黑客问题，导致模型未能实现预期目标。
  2. 提出的WARM方法通过对多个奖励模型进行微调并在权重空间中平均，旨在提高模型的可靠性和效率。
  3. 实验结果显示，WARM在摘要任务中显著提升了模型的质量和对齐度，胜率达到79.4%。

📝 摘要（中文）

通过强化学习与人类偏好对齐的大型语言模型（LLMs）可能会出现奖励黑客现象，即模型利用奖励模型的缺陷获得高奖励而未能实现根本目标。本文识别了设计奖励模型时的两个主要挑战：强化学习过程中的分布偏移和人类偏好的不一致性。为此，提出了权重平均奖励模型（WARM），首先对多个奖励模型进行微调，然后在权重空间中进行平均。该策略基于微调权重在共享相同预训练时保持线性模式连接的观察。通过权重平均，WARM在效率上优于传统的预测集成，同时在分布偏移和偏好不一致性下提高了可靠性。实验结果表明，WARM在摘要任务中提升了LLM预测的整体质量和对齐度。比如，使用WARM微调的策略RL在与单一奖励模型微调的策略RL对比中，胜率达79.4%。

🔬 方法详解

问题定义：本文旨在解决在强化学习过程中，奖励模型（RM）可能导致的奖励黑客问题。现有方法在处理分布偏移和人类偏好不一致性时存在不足，容易导致模型未能实现预期目标。

核心思路：WARM方法的核心思路是通过对多个奖励模型进行微调后，在权重空间中进行平均。这一设计基于微调权重在共享相同预训练时保持线性模式连接的观察，旨在提高模型的效率和可靠性。

技术框架：WARM的整体架构包括两个主要阶段：首先对多个奖励模型进行独立的微调，然后在权重空间中进行平均。该方法通过权重的平均化来增强模型的鲁棒性，尤其是在面对分布偏移和偏好不一致时。

关键创新：WARM的主要创新在于通过权重平均而非传统的预测集成来提高模型的效率和可靠性。这一方法在处理人类偏好不一致性和分布偏移时表现出更好的性能。

关键设计：在WARM的实现中，关键设计包括微调多个奖励模型的策略、权重平均的具体实现方式，以及在训练过程中对损失函数的选择，以确保模型在不同任务中的适应性和性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用WARM微调的策略RL在摘要任务中表现优异，胜率达到79.4%，显著高于使用单一奖励模型微调的策略RL。这一提升表明WARM在提高模型质量和对齐性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、摘要和对话系统等。通过提高大型语言模型的对齐性和可靠性，WARM方法能够在实际应用中更好地满足用户需求，减少模型的偏差和错误输出，具有重要的实际价值和未来影响。

📄 摘要（原文）

Aligning large language models (LLMs) with human preferences through reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit failures in the reward model (RM) to achieve seemingly high rewards without meeting the underlying objectives. We identify two primary challenges when designing RMs to mitigate reward hacking: distribution shifts during the RL process and inconsistencies in human preferences. As a solution, we propose Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then averaging them in the weight space. This strategy follows the observation that fine-tuned weights remain linearly mode connected when sharing the same pre-training. By averaging weights, WARM improves efficiency compared to the traditional ensembling of predictions, while improving reliability under distribution shifts and robustness to preference inconsistencies. Our experiments on summarization tasks, using best-of-N and RL methods, shows that WARM improves the overall quality and alignment of LLM predictions; for example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy RL fine-tuned with a single RM.