SPIRAL: Learning to Search and Aggregate

📄 arXiv: 2606.23595v1 📥 PDF

作者: Jubayer Ibn Hamid, Ifdita Hasan Orney, Michael Y. Li, Omar Shaikh, Yoonho Lee, Dorsa Sadigh, Chelsea Finn, Noah Goodman

分类: cs.AI

发布日期: 2026-06-22

备注: Ongoing Work

💡 一句话要点

提出SPIRAL框架以提升语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理能力 强化学习 聚合机制 自然语言处理 多元化推理 智能问答 对话生成

📋 核心要点

  1. 现有语言模型在推理时仅优化顺序推理，导致其在多样化推理任务中的表现受限。
  2. SPIRAL框架通过引入顺序、并行和聚合三种推理原语，构建统一的推理计算管道，提升模型的推理能力。
  3. 实验结果显示，SPIRAL在推理任务上相比GRPO实现了高达11倍的计算效率提升和15%的性能提升。

📝 摘要（中文）

语言模型的推理能力在测试时可以通过不同原语的推理计算扩展显著提高，包括在追踪中的顺序推理、独立采样的并行追踪以及将多个推理追踪聚合为最终响应。然而，在后期训练中，语言模型仅针对单个追踪中的顺序推理进行优化。本文提出了顺序-并行-聚合强化学习（SPIRAL）框架，训练语言模型使用这三种原语，作为统一推理计算管道的一部分。具体而言，语言模型首先并行采样一组独立追踪，每个追踪通过顺序推理生成，然后生成一个基于这些追踪的最终聚合追踪；所有组件都针对最终聚合响应的奖励进行端到端优化。实验表明，SPIRAL在推理任务上有效扩展推理计算，性能比GRPO提高了高达11倍的计算效率和15%的准确率。

🔬 方法详解

问题定义：本文旨在解决现有语言模型在推理过程中仅依赖顺序推理的问题，导致其在处理复杂推理任务时效率低下和性能不足。

核心思路：SPIRAL框架的核心思想是通过结合顺序推理、并行采样和聚合机制，构建一个多元化的推理计算管道，从而提升模型的推理能力和效率。

技术框架：SPIRAL的整体架构包括三个主要模块：首先，模型并行采样多个独立的推理追踪；其次，基于这些追踪生成最终的聚合追踪；最后，所有模块通过强化学习进行端到端优化。

关键创新：SPIRAL的创新之处在于引入了顺序-并行-聚合的强化学习策略，使得模型能够在推理过程中灵活运用不同的推理原语，从而显著提升推理效率和准确性。

关键设计：在设计上，SPIRAL使用集合强化学习来训练模型生成有助于聚合器的追踪集合，同时使用标准强化学习来优化聚合过程，确保最终响应的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPIRAL在推理任务中表现出色，相比于基线GRPO，计算效率提升高达11倍，且在准确率上提高了15%。这些结果表明SPIRAL在多种推理场景下的有效性和优越性。

🎯 应用场景

SPIRAL框架在自然语言处理、智能问答系统和对话生成等领域具有广泛的应用潜力。通过提升语言模型的推理能力，该研究能够为更复杂的推理任务提供支持，推动智能系统在理解和生成自然语言方面的进步。

📄 摘要（原文）

Language model reasoning can be substantially improved at test time via scaffolds that scale inference compute across different primitives -- sequential reasoning within a trace, independently sampled parallel traces, and aggregation of multiple reasoning traces into a final response. During post-training, however, language models are optimized only for sequential reasoning within a single trace. We introduce Sequential-Parallel-Aggregative Reinforcement Learning (SPIRAL), a framework in which a language model is trained to use all three primitives, as part of a unified inference compute pipeline. Concretely, the language model first samples a set of independent traces in parallel, each produced through sequential chain-of-thought reasoning, and then generates a final aggregation trace conditioned on those traces; all components are optimized end-to-end against the reward of the final aggregated response. To train this system, SPIRAL uses set reinforcement learning to teach models to produce a set of traces that are collectively useful for an aggregator and standard reinforcement learning to teach models to aggregate the set into improved final responses. Our experiments on reasoning tasks show that SPIRAL effectively scales with inference compute, outperforming GRPO by up to 11$\times$ scaling efficiency and 15% higher performance when all three compute primitives are scaled.