Learning with a Single Rollout via Monte Carlo Pass@k Critic
作者: Fengdi Che, Yang Liu, Lei Yu, Meng Cao, Tong Che, Rupam Mahmood, Dale Schuurmans
分类: cs.LG, cs.AI
发布日期: 2026-06-24
💡 一句话要点
提出单次回合的蒙特卡洛Pass@k评论者以解决语言模型的优势估计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 语言模型 优势估计 单次回合 蒙特卡洛方法 信用分配 数学推理 Pass@k
📋 核心要点
- 现有的优势估计方法在强化学习中面临高昂的经验收集成本和信用分配困难，导致性能受限。
- 本文提出单次回合近端策略优化（SR-PPO），通过单次回合的蒙特卡洛结果训练token级信用评论者，优化优势估计。
- SR-PPO在数学推理基准上取得了显著提升，Pass@128成功率表现出稳定的学习动态，验证了方法的有效性。
📝 摘要（中文）
在强化学习中，针对语言模型的token级优势估计仍然面临挑战，尤其是在经验收集成本高昂的情况下。现有的基线优势估计方法因重复采样导致轨迹差异显著，难以进行有效的信用分配。为此，本文提出了单次回合近端策略优化（SR-PPO），通过使用单次回合的蒙特卡洛结果训练token级信用评论者，从而降低计算成本并改善信用分配。实验表明，SR-PPO在数学推理基准上如HMMT26和AIME24的Pass@128成功率上表现出稳定的学习动态和一致的提升。
🔬 方法详解
问题定义：本文旨在解决在强化学习中对语言模型进行token级优势估计的困难，现有方法因重复采样导致的轨迹差异使得信用分配变得复杂且不准确。
核心思路：提出单次回合近端策略优化（SR-PPO），通过训练一个token级信用评论者，利用单次回合的蒙特卡洛结果来进行优势估计，从而降低计算成本并提高信用分配的准确性。
技术框架：SR-PPO的整体架构包括一个token级信用评论者，该评论者基于单次回合的结果预测Pass@k成功概率，具体实现中通过对Prompt前缀的分析来优化学习信号。
关键创新：最重要的创新在于通过单次回合的蒙特卡洛结果训练token级信用评论者，避免了传统方法中需要多次采样的高昂成本，并且提供了更具选择性的学习信号。
关键设计：在设计中，使用了基于Pass@1的成功概率预测，并随着k的增加，Pass@k收敛到可达性指标，提供了高效的信用分配方法。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SR-PPO在数学推理基准HMMT26和AIME24上的Pass@128成功率显著提升，验证了该方法的有效性和稳定性。相较于传统方法，SR-PPO展现出更优的学习动态，提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过优化语言模型的学习过程，SR-PPO能够提高模型在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Estimating token-level advantages in reinforcement learning (RL) for language models remains challenging because scaling up episodic experience collection is expensive. The difficulty intensifies for baseline advantage estimation methods, where repeated sampling causes trajectories to diverge into substantially different reasoning prefixes. In this context, RL algorithms such as GRPO prove limited: an outcome reward is too sparse to be attributed to specific actions like intermediate steps, and comparisons across sampled traces are non-trivial because they are heterogeneous. To mitigate both the computational cost of repeated sampling and the difficulty of credit assignment, we study single-rollout proximal policy optimization (SR-PPO) featuring token-level credit assignment in RL for language models. Instead of estimating advantages by normalizing episodic returns within the candidate group, we train a calibrated token-level credit critic using Monte Carlo outcomes from one rollout per prompt. Specifically, we use the critic to predict the Pass@k success probability at the prompt prefix, which is derived from a Pass@1 attempt. This choice yields a more selective learning signal than Pass@1: it discounts easily solved prefixes while prioritizing hard ones whose success probability remains marginal. We show that as $k$ increases, Pass@k converges to a reachability indicator, reflecting whether a prefix can lead to at least one successful continuation. In an explicit state graph, the limit ($k \rightarrow \infty$) can be computed in $O(|V|+|E|)$ time, offering a promising surrogate for direct credit assignment without the need to sample contrastive traces. As an initial validation, SR-PPO exhibits stable learning dynamics, along with consistent gains in Pass@128 success rates on mathematical reasoning benchmarks such as HMMT26 and AIME24.