Uncertainty-Aware Reward Modeling for Stable RLHF

📄 arXiv: 2606.19818v1 📥 PDF

作者: Licheng Pan, Haocheng Yang, Haoxuan Li, Yichen Sun, Yunsheng Lu, Shijian Wang, Lei Shen, Yuan Lu, Zhixuan Chu, Hao Wang

分类: cs.LG, cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出不确定性感知奖励建模以解决RLHF中的奖励不可靠问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 奖励建模 不确定性 策略优化 量化预测 异方差方差分解

📋 核心要点

  1. 现有的奖励模型通常作为确定性点估计器，无法有效指示其预测的不可靠性，导致奖励信号的不稳定性。
  2. 本文提出的不确定性感知奖励建模（UARM）通过量化的保形预测为奖励模型提供校准的不确定性，增强了模型的可靠性。
  3. 实验结果显示，UARM在HelpSteer、UltraFeedback和PKU-SafeRLHF数据集上显著提高了奖励模型的校准性，减少了奖励黑客行为。

📝 摘要（中文）

强化学习中的人类反馈（RLHF）通过在偏好数据上训练奖励模型来对齐大型语言模型，并优化策略以最大化预测奖励。然而，该流程面临两个基本挑战：奖励模型无法指示其预测的不可靠性，且现代基于群体的策略优化可能会放大不可靠的奖励信号。为此，本文提出不确定性感知奖励建模（UARM），通过量化的保形预测为奖励模型提供校准的不确定性，并通过异方差方差分解重新加权GRPO优势。实验结果表明，UARM显著改善了奖励模型的校准性，减少了奖励黑客行为，并提升了下游对齐质量。

🔬 方法详解

问题定义：本文旨在解决强化学习中人类反馈（RLHF）过程中奖励模型的不可靠性问题。现有方法的痛点在于奖励模型无法指示其预测的不确定性，且现代策略优化方法可能放大这些不可靠的奖励信号，导致严重的奖励黑客现象。

核心思路：论文提出的不确定性感知奖励建模（UARM）通过量化的保形预测为奖励模型提供校准的不确定性，并通过异方差方差分解重新加权GRPO的优势，从而提高奖励信号的可靠性。

技术框架：UARM的整体架构包括两个主要模块：首先是奖励模型的训练，采用量化的保形预测来校准不确定性；其次是策略优化阶段，通过异方差方差分解来调整奖励信号的权重。

关键创新：UARM的核心创新在于引入了量化的保形预测和异方差方差分解，这与传统的确定性奖励模型和均匀处理奖励的策略优化方法有本质区别，能够有效降低不可靠奖励信号的影响。

关键设计：在模型设计中，采用了量化的保形预测算法来估计奖励的置信区间，并在损失函数中引入了异方差方差分解的机制，以确保在策略优化过程中对奖励信号的合理加权。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，UARM在多个数据集上显著提高了奖励模型的校准性，减少了奖励黑客行为。在HelpSteer、UltraFeedback和PKU-SafeRLHF上，UARM相比于标准GRPO和不考虑不确定性的基线，提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和人机交互等场景，能够有效提升大型语言模型在实际应用中的可靠性和安全性。未来，UARM可能在其他强化学习任务中也展现出良好的适应性，推动智能系统的进一步发展。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) aligns large language models by training reward models on preference data and optimizing policies to maximize predicted rewards. However, this pipeline faces two fundamental challenges: (1) reward models cannot signal when their predictions are unreliable, since they usually act as deterministic point estimators; and (2) modern group-based policy optimization can amplify unreliable reward signals, as exemplified by GRPO's uniform treatment of rewards during advantage computation. As policies explore increasingly diverse responses, these two limitations create a critical vulnerability: unreliable reward estimates may be granted disproportionate influence, triggering severe reward hacking. We propose Uncertainty-Aware Reward Modeling (UARM), which equips reward models with calibrated uncertainty via quantile-based conformal prediction and reweights GRPO advantages through heteroscedastic variance decomposition. Experiments across HelpSteer, UltraFeedback, and PKU-SafeRLHF demonstrate that UARM significantly improves reward model calibration, reduces reward hacking, and enhances downstream alignment quality compared to standard GRPO and uncertainty-agnostic baselines.