Recirculation
作者: Michael C. Mozer, Shoaib Ahmed Siddiqui, Danny Sawyer, Sunny Sanyal, Rosanne Liu
分类: cs.LG
发布日期: 2026-08-18
💡 一句话要点
提出Recirculation以提升生成与推理任务的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 递归机制 动态系统 生成任务 推理任务 模型架构 自然语言处理 信念状态 自适应调整
📋 核心要点
- 现有的前馈变换器在状态更新上受到模型深度的限制，导致生成和推理任务的性能不足。
- 论文提出的Recirculation技术通过引入递归机制，使模型能够动态跟踪信念状态，从而提升任务性能。
- 实验结果显示，适应性Recirculation在多个数据集上显著降低了困惑度和提高了准确性，验证了其有效性。
📝 摘要（中文）
本文描述了一种推理时架构增强技术Recirculation，显著降低了困惑度并提升了生成和推理任务的准确性。该方法在生成过程中几乎不增加延迟，但在预填充阶段需要串行处理。Recirculation通过引入特定形式的递归，使模型能够作为动态系统跟踪信念状态，区别于链式思维计算和深度递归技术。我们还提出了一种自适应变体，需轻微调整超参数而冻结原始模型权重。相较于基线，适应性Recirculation在Gemma3系列上实现了23%的困惑度降低和21%的准确性提升。
🔬 方法详解
问题定义：本文旨在解决现有前馈变换器在生成和推理任务中由于模型深度限制而导致的性能不足问题。现有方法在状态更新时无法有效跟踪信念状态，影响了模型的推理能力。
核心思路：Recirculation的核心思路是引入一种特定形式的递归，使得模型能够像动态系统一样运作，从而在推理过程中更好地跟踪和更新信念状态。这种设计旨在克服传统前馈变换器的深度限制。
技术框架：该方法的整体架构包括两个主要阶段：预填充阶段和生成阶段。在预填充阶段，模型通过串行处理更新信念状态；在生成阶段，Recirculation技术几乎不增加延迟，确保高效的生成过程。
关键创新：Recirculation的最大创新在于其引入的递归机制，使得模型能够在不增加训练成本的情况下，动态调整和更新信念状态。这与传统的链式思维计算和深度递归技术有本质区别。
关键设计：在实现Recirculation时，采用了轻微调整超参数的自适应变体，同时保持原始模型权重不变。这种设计使得模型在保持性能的同时，避免了复杂的训练过程。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，适应性Recirculation在Gemma3系列上实现了23%的困惑度降低和21%的准确性提升，且在GSM8k等其他下游任务中也表现出可靠的准确性改善。这些结果相较于基线模型具有显著的性能提升，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提升生成和推理任务的准确性，Recirculation可以在实际应用中显著改善用户体验，推动智能系统的进一步发展。未来，该技术可能会引导更高效的模型架构设计，促进人工智能领域的创新。
📄 摘要（原文）
We describe an inference-time architectural enhancement for off-the-shelf foundation models that markedly reduces perplexity and boosts accuracy across generation and reasoning tasks. Our approach incurs essentially no additional latency during generation, though it requires serial processing in the prefill phase. Motivated by the fundamental limitation that state updates in feedforward transformers are bounded by model depth, our technique, recirculation, introduces a specific form of recurrence that allows the model to act as a dynamical system and track belief states. We distinguish this technique from chain-of-thought computation---which is better reserved for complex inferences rather than basic state tracking---as well as from popular depth-recurrence techniques (looping) and the costly training of recurrent transformers. We also propose and evaluate an adaptive variant of recirculation which requires only light tuning of hyperparameters while freezing the original model weights. Relative to the off-the-shelf baseline, adaptive recirculation achieves remarkable gains on the Gemma3 family, including a 23% reduction in perplexity on a suite of datasets, a 21% increase in accuracy on GSM8k, and reliable improvements in accuracy on other downstream tasks. Our training-free approach succeeds by leveraging the model itself to inform architectural modifications, suggesting a route to architectural evolution guided by a trained network's properties rather than forced, arbitrary design choices.