PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration

📄 arXiv: 2606.27578v1 📥 PDF

作者: Arnav Raj

分类: cs.LG, cs.AI

发布日期: 2026-06-25

备注: Accepted at the ICML 2026 Workshop on Pluralistic Alignment. Code: https://github.com/deadsmash07/pebs-pluralistic

💡 一句话要点

提出PEBS以解决RLHF奖励模型校准问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 奖励模型 贝叶斯方法 模型校准 个性化学习 数据集评估

📋 核心要点

  1. 现有的RLHF奖励模型将不同评分偏移和斜率的标注者合并为单一平均标注者，导致校准不准确。
  2. PEBS通过为每个标注者拟合仿射校准器，并应用经验贝叶斯收缩，提供了更精确的个性化校准方案。
  3. 在PRISM和PluriHarms数据集上，PEBS分别实现了8.58%和9.66%的RMSE降低，显著提升了模型性能。

📝 摘要（中文）

在强化学习中的人类反馈（RLHF）中，奖励模型通过整合成千上万的标注者的偏好来进行训练，但现有方法将具有系统性不同评分偏移和斜率的标注者合并为单一的平均标注者，导致校准效果不佳。PEBS是一种针对每个标注者的经验贝叶斯收缩估计器，它在每个标注者的评分中使用保留的切片拟合每个标注者的仿射校准器，并应用Morris-James-Stein经验贝叶斯收缩到总体均值。实验结果表明，PEBS在PRISM数据集上相较于基线减少了8.58%的用户内持出均方根误差（RMSE），在PluriHarms数据集上也实现了9.66%的RMSE降低。PEBS为RLHF奖励建模提供了一种闭式后处理估计方法，保持了基础奖励模型不变，仅在推理时估计标注者级别的映射。

🔬 方法详解

问题定义：论文要解决的问题是现有RLHF奖励模型在处理不同标注者评分偏移和斜率时的校准不准确性。现有方法将所有标注者的评分合并，导致无法反映个体标注者的真实评分特征。

核心思路：PEBS的核心思路是为每个标注者单独拟合仿射校准器，并通过经验贝叶斯收缩方法将其调整到总体均值，从而实现个性化的评分校准。这样的设计能够更好地适应不同标注者的评分习惯。

技术框架：PEBS的整体架构包括两个主要阶段：首先，在每个标注者的评分中选择一个保留切片来拟合仿射校准器；其次，应用Morris-James-Stein经验贝叶斯收缩方法对拟合结果进行调整。

关键创新：PEBS的主要创新在于其闭式后处理估计方法，能够在不改变基础奖励模型的情况下，针对每个标注者进行精确的仿射校准。这与传统方法的全局校准显著不同。

关键设计：在PEBS中，关键参数包括选择的保留切片的大小和收缩参数的设置。损失函数采用均方误差（MSE）来评估校准效果，确保拟合的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PEBS在PRISM数据集上实现了8.58%的RMSE降低，相较于基线显著提升了模型的准确性。同时，在PluriHarms数据集上也取得了9.66%的RMSE降低，验证了其有效性和广泛适用性。

🎯 应用场景

PEBS的研究成果在多个领域具有广泛的应用潜力，尤其是在需要人类反馈的强化学习任务中，如游戏AI、推荐系统和自动驾驶等。通过提高奖励模型的校准精度，PEBS能够提升系统的整体性能和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reward models for Reinforcement Learning from Human Feedback (RLHF) pool preferences across thousands of annotators and fit one global affine calibrator, collapsing raters with systematically different rating-scale offsets and slopes into a single average-rater fit that does not match any individual annotator. PEBS is a per-rater empirical-Bayes shrinkage estimator: it fits per-rater affine calibrators on a held-out slice of each annotator's ratings and applies Morris-James-Stein empirical-Bayes shrinkage toward the population mean, in closed form and without retraining the reward model. On PRISM, PEBS reduces within-user held-out RMSE by 8.58% over the pooled population-slope baseline. The procedure replicates on PluriHarms harm ratings (Qwen-2.5 base, in-family) with a +9.66% RMSE reduction over the same population-slope baseline. PEBS is a closed-form post-hoc estimator for annotator-specific affine calibration in RLHF reward modeling; it leaves the reward base model unchanged and estimates only the rater-level map used at inference time for new ratings.