SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts
作者: Nhat Minh Pham, Duy Tung Doan, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui
分类: cs.LG, cs.CL
发布日期: 2026-08-05
💡 一句话要点
提出SpecRoll以解决强化学习中生成效率瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 投机解码 强化学习 生成模型 延迟反馈 速度提升 自然语言处理 模型优化
📋 核心要点
- 现有的自回归生成方法在强化学习中效率低下，导致生成速度成为瓶颈。
- SpecRoll通过轻量级未来标记头和延迟验证反馈，优化生成过程，保持目标模型的采样分布。
- 在五个模型和三个数据集上，SpecRoll实现了显著的速度提升，优于现有的FastGRPO方法。
📝 摘要（中文）
强化学习（RL）后训练提升了大型语言模型的推理能力，但自回归生成仍是效率瓶颈。尽管投机解码可以加速生成，但在RL中应用困难，因为目标策略不断演变。本文提出SpecRoll，一个投机性回合引擎，通过轻量级未来标记头生成并行提案，并利用延迟验证反馈进行局部隐藏状态修正。结合稀疏树验证和精确目标验证，SpecRoll在五个模型和三个数学推理数据集上实现了1.26-2.15倍的生成加速和1.21-2.04倍的端到端加速，超越了FastGRPO。
🔬 方法详解
问题定义：本文旨在解决在强化学习中自回归生成的效率瓶颈，现有方法因目标策略的不断演变而难以应用投机解码。
核心思路：SpecRoll通过引入轻量级未来标记头和延迟验证反馈，优化生成过程，确保目标模型的采样分布不变，同时提高生成速度。
技术框架：SpecRoll的整体架构包括两个主要模块：快速适应路径和慢速适应路径。快速路径使用未来标记头生成并行提案，慢速路径在检测到持续性能下降时更新头参数。
关键创新：最重要的创新在于结合了延迟验证反馈和稀疏树验证，允许在不进行反向传播的情况下进行局部状态修正，从而提高生成效率。
关键设计：在设计中，采用了轻量级的未来标记头和反应模块，确保了生成过程的并行性和目标分布的稳定性，同时设置了适当的阈值以触发慢速路径的参数更新。
🖼️ 关键图片
📊 实验亮点
在五个模型和三个数学推理数据集上，SpecRoll实现了1.26-2.15倍的生成速度提升和1.21-2.04倍的端到端速度提升，超越了FastGRPO方法，平均端到端增益达到1.18倍，显示出其在生成效率上的显著优势。
🎯 应用场景
SpecRoll的研究成果在自然语言处理、对话系统和自动文本生成等领域具有广泛的应用潜力。通过提高生成效率，能够更好地支持实时应用和大规模模型的部署，推动智能系统的进一步发展。
📄 摘要（原文）
Reinforcement learning (RL) post-training improves the reasoning capabilities of large language models, but autoregressive rollout generation remains a major efficiency bottleneck. Speculative decoding can accelerate generation, yet applying it during RL is difficult because the target policy continually evolves: static proposers become stale, while frequent drafter updates add substantial overhead. We introduce SpecRoll, a speculative rollout engine that preserves the target model's sampling distribution while adapting at two timescales. Lightweight future-token heads generate parallel proposals, while our proposed Reflex module uses delayed verifier feedback to perform bounded, trajectory-local hidden-state corrections without backpropagation. A complementary slow path updates the head parameters only when sustained degradation is detected. SpecRoll combines these mechanisms with concurrency-aware sparse-tree verification and exact target verification, leaving the target rollout distribution and GRPO objective unchanged. Across five models ranging from 1.5B to 14B and three mathematical reasoning datasets, SpecRoll achieves 1.26-2.15x generation speedup and 1.21-2.04x end-to-end speedup over vanilla GRPO. It also outperforms FastGRPO in both generation and end-to-end time across all 15 matched settings, with an average pairwise end-to-end gain of 1.18x. Controlled ablations show that the fast and slow adaptation paths provide complementary benefits. Our source code is available at https://anonymous.4open.science/r/SpecRoll-26062006.