Latent Thought Flow: Efficient Latent Reasoning in Large Language Models

📄 arXiv: 2606.16222v1 📥 PDF

作者: Xiandong Zou, Jing Huang, Jianshu Li, Pan Zhou

分类: cs.AI, cs.LG

发布日期: 2026-06-15

💡 一句话要点

提出Latent Thought Flow以解决大语言模型推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理效率 潜在推理 连续轨迹 熵加权 奖励机制 自然语言处理

📋 核心要点

  1. 现有方法在推理过程中面临高开销和效率低下的问题，尤其是在显式思维链的应用中。
  2. 论文提出的Latent Thought Flow通过将推理建模为连续轨迹，利用随机潜在转移来优化推理过程。
  3. 实验结果显示，LTF在准确率和推理长度上均显著优于传统的显式思维链和潜在推理方法。

📝 摘要（中文）

大型语言模型（LLMs）越来越依赖中间推理，但显式的思维链（CoT）存在语言空间瓶颈：每个思维必须解码为标记，导致推理开销高。潜在推理将思考过程转移到连续空间，但现有方法主要学习确定性或奖励最大化路径，缺乏在不同正确性和成本的轨迹上分配概率的原则性方法。我们提出了Latent Thought Flow（LTF），将推理建模为可变长度的连续轨迹，并训练采样器以匹配基于奖励的后验分布。通过使用随机潜在转移的连续GFlowNet，我们引入了熵加权子轨迹平衡目标和参考先验正则化器来处理稀疏答案监督。实验结果表明，LTF在微调和迁移学习设置下优于显式CoT和潜在推理基线，准确率提高了9.5%，推理长度平均减少了27.2%。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在推理过程中面临的高开销和效率低下的问题。现有的显式思维链方法由于需要将每个思维解码为标记，导致推理效率低下，且潜在推理方法在学习轨迹时缺乏有效的概率分配机制。

核心思路：论文提出的Latent Thought Flow（LTF）通过将推理过程建模为可变长度的连续轨迹，利用随机潜在转移来实现更高效的推理。通过训练一个采样器来匹配基于奖励的后验分布，LTF能够在不同的正确性和计算成本之间进行有效的权衡。

技术框架：LTF的整体架构包括两个主要模块：首先是连续GFlowNet，用于生成潜在的推理轨迹；其次是熵加权子轨迹平衡目标和参考先验正则化器，用于处理稀疏的答案监督。整个流程通过优化采样器的输出，以提高推理的质量和效率。

关键创新：LTF的核心创新在于其将推理过程视为连续轨迹的建模方式，突破了传统方法在离散空间中的限制。通过引入随机潜在转移，LTF能够在推理过程中实现更灵活的探索和更高效的计算。

关键设计：在设计中，LTF使用了熵加权子轨迹平衡目标来优化中间奖励，并通过参考先验正则化器来引导探索过程。这些设计使得模型在面对稀疏监督时仍能保持较高的推理质量。

🖼️ 关键图片

fig_0

📊 实验亮点

在实验中，LTF相较于显式思维链和潜在推理基线，准确率提高了9.5%，同时推理长度平均减少了27.2%。这些结果表明，LTF在推理效率和效果上均表现出色，具有显著的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过提高推理效率，LTF能够在实际应用中显著降低计算资源消耗，提升用户体验。未来，该方法有望推动更复杂的推理任务的实现，促进智能系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) increasingly rely on intermediate reasoning, yet explicit Chain-of-Thought (CoT) suffers from a linguistic space bottleneck: each thought must be decoded into tokens, causing high inference overhead. Latent reasoning moves deliberation into continuous space, but existing methods mostly learn deterministic or reward-maximizing paths, lacking a principled way to allocate probability across trajectories with different correctness and costs. We propose Latent Thought Flow (LTF), which models reasoning as variable-length continuous trajectories and trains a sampler to match a reward-induced posterior over answer quality and computation cost. We instantiate this with a continuous GFlowNet using stochastic latent transitions. To handle sparse answer supervision, we introduce an Entropy-Weighted Subtrajectory Balance objective for intermediate rewards and a reference-prior regularizer to anchor exploration. Experiments under finetuning and transfer learning settings show that LTF outperforms explicit CoT and latent reasoning baselines, improving accuracy by 9.5% while reducing reasoning length by 27.2% on average compared with strong latent reasoning baselines.