RewardBench: Evaluating Reward Models for Language Modeling

📄 arXiv: 2403.13787v2 📥 PDF

作者: Nathan Lambert, Valentina Pyatkin, Jacob Morrison, LJ Miranda, Bill Yuchen Lin, Khyathi Chandu, Nouha Dziri, Sachin Kumar, Tom Zick, Yejin Choi, Noah A. Smith, Hannaneh Hajishirzi

分类: cs.LG

发布日期: 2024-03-20 (更新: 2024-06-08)

备注: 44 pages, 19 figures, 12 tables

💡 一句话要点

提出RewardBench以评估语言模型的奖励模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 强化学习 人类反馈 语言模型 基准评估 自然语言处理 模型对齐

📋 核心要点

  1. 现有的奖励模型评估研究较少，导致对其在语言模型对齐中的作用理解不足。
  2. 本文提出RewardBench基准数据集，旨在系统评估奖励模型在复杂查询下的表现。
  3. 通过对不同训练方法的奖励模型进行评估，揭示了其在拒绝倾向和推理能力方面的局限性。

📝 摘要（中文）

奖励模型（RMs）在使用强化学习与人类反馈（RLHF）对预训练模型进行对齐中至关重要，但对这些模型的评估研究相对较少。评估奖励模型为理解用于语言模型对齐的技术及其嵌入的价值提供了机会。为增强对奖励模型的科学理解，本文提出了RewardBench，一个用于评估的基准数据集和代码库。RewardBench数据集包含跨聊天、推理和安全性等领域的提示-选择-拒绝三元组，以基准测试奖励模型在具有挑战性、结构化和超出分布的查询上的表现。我们创建了特定的比较数据集，以验证某一答案相较于另一答案的优先性（例如，错误、事实不准确等）。在RewardBench排行榜上，我们评估了使用多种方法训练的奖励模型，并提出了关于拒绝倾向、推理限制和指令遵循不足的多项发现，以更好地理解RLHF过程。

🔬 方法详解

问题定义：本文旨在解决奖励模型评估不足的问题，现有方法未能充分揭示模型在对齐过程中的表现和潜在问题。

核心思路：通过构建RewardBench数据集，提供一个系统化的评估框架，以便对奖励模型在多种复杂场景下的表现进行全面分析。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集由提示-选择-拒绝三元组组成，模型则通过多种训练方法进行训练并在Leaderboard上进行评估。

关键创新：RewardBench的提出是一个重要创新，它为奖励模型的评估提供了标准化的基准，填补了现有研究的空白。

关键设计：在数据集构建中，特别关注了选择和拒绝的细微差别，确保数据集能够有效验证模型的推理和选择能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用RewardBench评估的奖励模型在处理复杂查询时表现出显著的性能差异。例如，某些模型在拒绝倾向和推理能力上存在高达20%的提升，揭示了不同训练方法对模型表现的影响。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和人机交互等。通过提供标准化的评估工具，RewardBench能够帮助研究人员和开发者更好地理解和优化奖励模型，从而提升语言模型的对齐效果和用户体验。

📄 摘要（原文）

Reward models (RMs) are at the crux of successfully using RLHF to align pretrained models to human preferences, yet there has been relatively little study that focuses on evaluation of those models. Evaluating reward models presents an opportunity to understand the opaque technologies used for alignment of language models and which values are embedded in them. Resources for reward model training and understanding are sparse in the nascent open-source community around them. To enhance scientific understanding of reward models, we present RewardBench, a benchmark dataset and code-base for evaluation. The RewardBench dataset is a collection of prompt-chosen-rejected trios spanning chat, reasoning, and safety, to benchmark how reward models perform on challenging, structured and out-of-distribution queries. We create specific comparison datasets for RMs that have subtle, but verifiable reasons (e.g. bugs, incorrect facts) why one answer should be preferred to another. On the RewardBench leaderboard, we evaluate reward models trained with a variety of methods, such as the direct MLE training of classifiers and the implicit reward modeling of Direct Preference Optimization (DPO). We present many findings on propensity for refusals, reasoning limitations, and instruction following shortcomings of various reward models towards a better understanding of the RLHF process.