A Model with No Head and Many Thoughts

📄 arXiv: 2608.31069v1 📥 PDF

作者: Nikita Koriagin, Yaroslav Aksenov, George Bredis, Gleb Gerasimov, Nikita Balagansky, Daniil Gavrilov

分类: cs.LG, cs.CL

发布日期: 2026-08-31

备注: Accepted to Findings of EMNLP 2026

💡 一句话要点

提出Soft Latent Thinking以提升语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理效率 嵌入空间 轻量级投影器 自然语言处理

📋 核心要点

  1. 现有大型语言模型在推理过程中依赖于庞大的词汇头，导致计算成本高且推理过程受限于离散令牌。
  2. 本文提出的Soft Latent Thinking方法通过轻量级投影器替代传统语言模型头，使推理过程在嵌入空间中连续进行。
  3. 实验结果表明，该方法在多个基准测试中显著提高了推理性能，尤其在pass@32指标上表现优异。

📝 摘要（中文）

大型语言模型在每一步解码时通过一个庞大的词汇头进行投影，这一操作计算成本高且限制了推理的表达方式。本文提出了一种名为Soft Latent Thinking的方法，替代了推理过程中的语言模型头，使用轻量级投影器，使得推理步骤在嵌入空间中保持连续而非离散化。通过在DeepSeek-Qwen-1.5B和LLaMA-3.2-3B上的实验，Soft Latent Thinking在所有k值下均提高了pass@k，同时减少了链式思维过程中的每步计算。该方法在所有软思维方法中实现了最高的pass@32，证明了在连续空间中进行有效推理的可行性，而无需生成离散的令牌。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中计算成本高和推理表达受限的问题。现有方法依赖于离散令牌，限制了推理的灵活性和效率。

核心思路：提出Soft Latent Thinking，通过轻量级投影器替代传统的语言模型头，使得推理过程在嵌入空间中进行，从而实现连续推理而非离散化。这样的设计可以降低计算复杂度，提高推理效率。

技术框架：整体架构包括输入嵌入、轻量级投影器和输出层。输入嵌入将文本转换为向量，轻量级投影器负责在嵌入空间中进行推理，最终输出层将结果映射回可理解的形式。

关键创新：最重要的创新在于将推理过程从离散的令牌生成转变为连续的嵌入空间推理，这一转变显著降低了计算负担并提高了推理的灵活性。

关键设计：在参数设置上，轻量级投影器的设计考虑了计算效率和推理准确性，损失函数采用了适应性调整策略，以优化推理过程中的连续性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，Soft Latent Thinking在所有k值下均提高了pass@k，尤其在pass@32指标上达到了最高水平，展示了该方法在推理效率和准确性上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高推理效率，Soft Latent Thinking能够在实时应用中提供更快速和准确的响应，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models decode by projecting hidden states through a large vocabulary head at every step. This operation is computationally costly and forces all reasoning to be expressed in discrete tokens. We introduce Soft Latent Thinking, a method that replaces the LM head during reasoning with a lightweight projector, enabling autoregressive rollout in embedding space where reasoning steps remain continuous rather than tokenized. Experiments on DeepSeek-Qwen-1.5B and LLaMA-3.2-3B show that Soft Latent Thinking consistently improves pass@k across all k while reducing per-step compute during chain-of-thought. Our method achieves the highest pass@32 among all soft-thinking approaches, demonstrating that effective reasoning can be carried out in continuous space without discrete token generation.