ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models

📄 arXiv: 2512.07843 📥 PDF

作者: Long Lian, Sida Wang, Felix Juefei-Xu, Tsu-Jui Fu, Xiuyu Li, Adam Yala, Trevor Darrell, Alane Suhr, Yuandong Tian, Xi Victoria Lin

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出ThreadWeaver以解决大语言模型推理效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 并行推理 推理效率 强化学习 数学推理 自适应算法 自然语言处理

📋 核心要点

  1. 现有的并行推理方法在性能上相较于顺序推理模型存在显著下降，并且通常需要专门的推理引擎。
  2. ThreadWeaver框架通过自适应并行推理，结合两阶段并行轨迹生成器、基于trie的回滚设计和并行化感知的强化学习框架来解决上述问题。
  3. 在六个数学推理基准测试中，ThreadWeaver在保持高准确率的同时，实现了推理速度的显著提升，表现出色。

📝 摘要（中文）

随着推理时间计算的扩展，大型语言模型（LLMs）在推理性能上取得了显著进展，但其固有的顺序解码导致了显著的延迟，促使对生成过程的并行化需求。然而，现有的并行推理方法相较于顺序推理模型表现不佳，并且通常依赖于专门的推理引擎。本文提出了ThreadWeaver，一个自适应并行推理框架，通过三项关键创新显著降低推理延迟，同时保持与同等规模顺序推理模型的准确性。ThreadWeaver在六个具有挑战性的数学推理基准上表现出色，训练于Qwen3-8B模型，达到了79.9%的AIME24准确率和71.9%的平均准确率，同时在token延迟上实现了高达1.53倍的加速，建立了准确性与效率之间的新Pareto前沿。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中由于顺序解码导致的高延迟问题。现有的并行推理方法在性能上往往不及顺序推理模型，且依赖于特定的推理引擎，限制了其应用范围。

核心思路：ThreadWeaver的核心思路是通过自适应并行推理来提高推理效率，同时保持与顺序推理模型相当的准确性。其设计理念是通过创新的轨迹生成和强化学习方法来优化推理过程。

技术框架：ThreadWeaver的整体架构包括三个主要模块：1) 两阶段并行轨迹生成器，生成高质量的并行思维链数据；2) 基于trie的回滚设计，支持在任何现成的自回归推理引擎上进行并行推理；3) 并行化感知的强化学习框架，训练模型在推理准确性与并行化效率之间取得平衡。

关键创新：ThreadWeaver的关键创新在于其两阶段的轨迹生成和基于trie的回滚设计，使得并行推理能够在不牺牲准确性的情况下实现显著的速度提升。这与传统方法的本质区别在于其不再依赖于特定的推理引擎。

关键设计：在设计中，ThreadWeaver采用了特定的损失函数来优化推理准确性，并通过强化学习调整模型参数，以实现最佳的并行化效果。

📊 实验亮点

ThreadWeaver在六个数学推理基准测试中表现优异，达到了79.9%的AIME24准确率和71.9%的平均准确率，同时在token延迟上实现了高达1.53倍的加速。这些结果表明，ThreadWeaver在准确性和效率之间建立了新的Pareto前沿。

🎯 应用场景

ThreadWeaver的研究成果在多个领域具有广泛的应用潜力，特别是在需要快速推理的自然语言处理任务中，如对话系统、自动问答和实时翻译等。其高效的推理能力将推动智能助手和自动化系统的进一步发展，提升用户体验和系统响应速度。

📄 摘要（原文）

Scaling inference-time computation has enabled Large Language Models (LLMs) to achieve strong reasoning performance, but their inherently sequential decoding incurs substantial latency, motivating parallelization of the generation process. However, existing parallel reasoning approaches suffer from performance degradation compared to their sequential counterparts, and often rely on specialized inference engines. We introduce ThreadWeaver, a framework for adaptive parallel reasoning that matches the accuracy of comparably sized sequential reasoning models while significantly reducing inference latency via three key innovations: 1) a two-stage parallel trajectory generator that produces high-quality parallel chain-of-thought data for supervised fine-tuning; 2) a trie-based rollout design that enables parallel reasoning on any off-the-shelf autoregressive inference engine; and 3) a parallelization-aware reinforcement learning framework that trains the model to balance reasoning accuracy with effective parallelization. Across six challenging math reasoning benchmarks, ThreadWeaver trained on top of Qwen3-8B achieves performance on par with cutting-edge sequential reasoning models (79.9% on AIME24 and 71.9% on average) while delivering up to 1.53x speedup in token latency, establishing a new Pareto frontier between accuracy and efficiency.