Start Classifying: Categorical Critics for LLM Reinforcement Learning

📄 arXiv: 2608.02181v1 📥 PDF

作者: Zhijian Zhou, Long Li, Xuan Zhang, Zongkai Liu, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

分类: cs.LG

发布日期: 2026-08-03

备注: Accepted at COLM 2026. 26 pages, 9 figures. Code: https://github.com/ZhijianZhou/HL-guass-ppo

💡 一句话要点

提出HL-Gauss PPO以优化大语言模型的强化学习评估

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 评估器优化 分类预测 PPO算法 稀疏奖励 模型校准

📋 核心要点

  1. 现有的PPO方法在处理稀疏奖励时，评估器的优化效果受到标量MSE的限制，导致性能不佳。
  2. HL-Gauss PPO提出了一种分类预测器，替代传统的标量MSE评估器，通过交叉熵损失来优化评估信号。
  3. 在多个任务上，HL-Gauss PPO相较于传统方法显著提升了性能，尤其在推理和数学计算方面表现突出。

📝 摘要（中文）

在大语言模型的强化学习中，传统的近端策略优化（PPO）方法通过均方误差（MSE）回归来训练评估器。然而，稀疏的二元奖励使得评估器的优化和校准变得尤为重要。本文提出HL-Gauss PPO，通过将标量MSE替换为基于分类的训练目标，使用交叉熵损失对平滑的HL-Gauss目标进行训练。实验结果表明，HL-Gauss PPO在多个基准任务上均优于强大的PPO和DAPO基线，且在推理前缀上改善了Brier分数和校准误差，显示出更对称、低方差的优势。

🔬 方法详解

问题定义：本文旨在解决大语言模型强化学习中评估器训练的不足，尤其是稀疏奖励情况下的标量MSE回归导致的优化问题。

核心思路：通过引入分类预测器替代标量MSE，HL-Gauss PPO利用交叉熵损失对离散化的价值支持进行训练，从而改善评估信号的质量。

技术框架：HL-Gauss PPO的整体架构包括一个分类预测器和一个标准的Gae和PPO更新机制。评估器输出经过解码后用于生成标量期望，保持了演员更新的不变性。

关键创新：HL-Gauss PPO的主要创新在于将评估器的训练目标从标量MSE转变为分类任务，这种方法在处理稀疏奖励时表现出更好的优化效果。

关键设计：在设计中，HL-Gauss PPO使用平滑的HL-Gauss目标进行训练，并通过交叉熵损失函数来优化分类器，确保输出的优势信号更为稳定和准确。具体的参数设置和网络结构细节在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HL-Gauss PPO在数学推理、工具增强数学和Search-R1任务中均表现出色，相较于强大的PPO和DAPO基线，性能提升显著。实验结果显示，HL-Gauss在Brier分数和校准误差上均有改善，优势信号更为对称且方差更低。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化推理等。通过优化大语言模型的评估器，HL-Gauss PPO能够提升模型在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Proximal Policy Optimization (PPO) for large language models typically trains its critic by mean-squared-error (MSE) regression on scalar value targets. Although scalar MSE is statistically valid for estimating the conditional expected return, sparse binary rewards in reinforcement learning with verifiable rewards (RLVR) make critic optimization and calibration especially consequential: small value errors directly distort the scalar advantages used by PPO. We study whether a classification-based training objective can improve this critic signal. HL-Gauss PPO replaces the scalar MSE head with a categorical predictor over a discretized value support, trained by cross-entropy against smoothed HL-Gauss targets. Its output is decoded to a scalar expectation for standard GAE and PPO; the actor update is therefore unchanged and is not distributional. Across mathematical reasoning, tool-augmented math, and Search-R1, and on both Qwen2.5 and Qwen3 backbones, HL-Gauss PPO consistently improves over strong PPO and DAPO baselines. Controls with one-hot, two-hot, and Bernoulli two-bin critics show that neither a larger output head nor binary classification alone explains the gains. On a common collection of reasoning prefixes, HL-Gauss improves Brier score and calibration error and yields more symmetric, lower-variance advantages. These results position categorical value learning as an effective optimization surrogate for PPO critics in RLVR.