Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

📄 arXiv: 2606.31779v1 📥 PDF

作者: Ying Fan, Anej Svete, Kangwook Lee

分类: cs.LG, cs.CL

发布日期: 2026-06-30

💡 一句话要点

提出LOTUS以解决显性推理与隐性推理之间的差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐性推理 显性推理 循环变换器 多步推理 自然语言处理 模型优化 深度学习

📋 核心要点

  1. 现有隐性CoT方法在超过10亿参数时表现不佳，且随着模型规模的增加，性能差距加大。
  2. 本文提出LOTUS，通过循环变换器并行处理隐性块，采用交叉熵损失进行显性CoT监督，提升推理效率。
  3. LOTUS在3B规模下首次缩小了隐性与显性推理的性能差距，且思维阶段延迟显著降低。

📝 摘要（中文）

语言模型通常通过显性链式思维（CoT）进行推理，逐步生成中间步骤。隐性CoT提供了一种替代方案，通过在模型的隐藏状态中执行多步推理，使用连续表示替代解码的标记以提高效率。然而，现有的隐性CoT方法在超过10亿参数时表现不佳，且随着规模的扩大，差距进一步加大。本文提出了LOTUS（循环变换器），通过并行处理K个隐性块进行R次迭代，使用交叉熵损失对每个隐性位置的金标准CoT步骤标记进行监督，成功在3B规模下缩小了隐性CoT与显性CoT之间的差距，同时将思维阶段延迟缩短了2.5到6.9倍。

🔬 方法详解

问题定义：本文旨在解决现有隐性链式思维（CoT）方法在大规模模型中性能不足的问题，尤其是在超过10亿参数时，隐性推理的效果明显低于显性推理。

核心思路：论文提出了LOTUS（循环变换器），通过循环结构重用权重以增加计算深度，同时并行处理多个隐性块，利用交叉熵损失对隐性位置进行显性CoT监督，从而提高推理效率和准确性。

技术框架：LOTUS的整体架构包括循环变换器的核心模块，处理K个隐性块并进行R次迭代。每次迭代都计算交叉熵损失，以确保隐性推理与显性推理的对齐。

关键创新：LOTUS是首个在3B规模下成功缩小隐性CoT与显性CoT之间差距的方法，且通过循环结构显著降低了思维阶段的延迟。

关键设计：关键设计包括循环变换器的权重重用机制、隐性块的并行处理策略，以及在每个隐性位置上应用的交叉熵损失函数，这些设计共同促进了模型的高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LOTUS在3B参数规模下成功缩小了隐性与显性推理之间的性能差距，同时将思维阶段延迟降低了2.5到6.9倍。这一显著提升证明了其在推理效率和准确性上的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。LOTUS的高效推理能力可以显著提升这些领域中的模型性能，尤其是在需要快速响应和准确推理的场景中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Language models typically reason via explicit chain-of-thought (CoT), generating intermediate steps token-by-token. Latent CoT offers an alternative: it performs multi-step reasoning in the model's hidden states, replacing decoded tokens with continuous representations for greater efficiency. However, existing latent CoT methods underperform explicit CoT beyond 1B parameters, and the gap widens with scale. Looped, or recurrent-depth, Transformers, which reuse their weights to increase computation depth without adding parameters, are a natural fit for latent reasoning. We therefore ask whether looped Transformers can bridge this gap. We answer affirmatively with a simple recipe: a looped padded Transformer that processes K latent blocks in parallel for R iterations, with a cross-entropy loss on each latent position's gold CoT-step token, similar to explicit CoT supervision. We instantiate it as LOTUS (Looped Transformers with parallel supervision on latents). LOTUS is, to our knowledge, the first latent-CoT method to bridge the gap to explicit CoT at the 3B scale, while cutting thought-phase latency by 2.5x-6.9x from compact math expressions to natural language. Projecting LOTUS's post-loop latents through the base LM head recovers the gold reasoning steps and even surfaces alternative valid intermediate steps, evidence that its latent space is interpretable and CoT-aligned. Ablations confirm that both the looped backbone and the parallel supervision on gold CoT tokens are essential.