S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning

📄 arXiv: 2610.35518v1 📥 PDF

作者: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang

分类: cs.LG, cs.CL

发布日期: 2026-10-26

备注: 17 pages, 14 figures

💡 一句话要点

提出S3AC以解决长链推理中的批评者训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长链推理 批评者训练 强化学习 难度感知 提示选择 模型优化 自然语言处理

📋 核心要点

  1. 现有的无批评者方法在长链推理中缺乏令牌级的信用分配，且依赖分组回放估计基线，导致性能受限。
  2. S3AC引入了一个实用的批评者训练方案，提供令牌特定的优势和提示特定的基线，结合难度感知提示采样优化提示选择。
  3. 实验结果显示，S3AC在1.5B到397B参数的密集和混合专家模型上均优于现代GRPO变体，且在35B模型上保持了单回放训练的稳定性。

📝 摘要（中文）

本文提出了一种新的Actor-Critic方法S3AC，旨在解决长链推理中批评者训练的困难。现有的无批评者方法在处理可验证奖励的强化学习中表现良好，但缺乏令牌级的信用分配，并且通常依赖于分组回放来估计特定提示的基线。S3AC通过引入一个实用的批评者训练方案，提供了令牌特定的优势和提示特定的基线，并通过难度感知提示采样（DAPS）来优化提示选择，从而减少了回放浪费。实验结果表明，S3AC在多个模型上显著提升了性能，尤其是在参数规模较大的情况下。

🔬 方法详解

问题定义：本文旨在解决在长链推理中批评者训练的困难，现有方法在处理多样化轨迹长度和早期梯度问题时表现不佳。

核心思路：S3AC通过引入一个有效的批评者训练方案，提供了令牌特定的优势和提示特定的基线，进而解决了现有方法的不足。

技术框架：S3AC的整体架构包括批评者训练、难度感知提示采样（DAPS）和回放策略优化等模块，形成一个完整的训练流程。

关键创新：S3AC的主要创新在于结合了批评者的引入和难度感知提示采样，显著提升了提示选择的效率和效果。

关键设计：在设计中，S3AC采用了特定的损失函数和网络结构，以确保批评者能够有效地学习并提供准确的基线和优势信息。具体参数设置和网络结构细节在论文中有详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，S3AC在多个模型上均显著提升了性能，尤其是在参数规模从1.5B到397B的模型中，超越了现代GRPO变体GRPO-X。在35B模型上，S3AC能够持续进行单回放训练，而批评者自由基线在初始增益后表现下降，显示出其稳定性和有效性。

🎯 应用场景

S3AC的研究成果在长链推理任务中具有广泛的应用潜力，尤其是在自然语言处理、对话系统和复杂决策支持系统等领域。通过提高模型的推理能力，S3AC能够为智能助手、自动问答系统等提供更为精准的支持，推动相关技术的发展。

📄 摘要（原文）

Critic-free methods are widely used in reinforcement learning with verifiable rewards (RLVR) for long chain-of-thought (CoT) reasoning, avoiding difficult and costly critic training. Common alternatives lack token-level credit assignment and typically rely on grouped rollouts to estimate prompt-specific baselines. A critic can address both limitations, but long-CoT critic training is hindered by insufficient coverage of trajectories with diverse lengths and early gradients dominated by the newly initialized value head. We introduce S3AC (Stabilized, Selective, and Scalable Actor-Critic) for LLM reasoning, built around a practical critic-training recipe. The trained critic provides token-specific advantages and prompt-specific baselines. Using the prompt-level baseline to estimate difficulty, we propose Difficulty-Aware Prompt Sampling (DAPS). DAPS combines this estimate with outcome history to select prompts before generation, reducing rollout waste without offline difficulty initialization. S3AC improves group-rollout performance across dense and mixture-of-experts models from 1.5B to 397B parameters, outperforming a modern GRPO variant (GRPO-X). At 35B, it sustains single-rollout training while tested critic-free baselines deteriorate after initial gains.