Scaling Latent Reasoning via Looped Language Models

📄 arXiv: 2510.25741 📥 PDF

作者: Rui-Jie Zhu, Zixuan Wang, Kai Hua, Tianyu Zhang, Ziniu Li, Haoran Que, Boyi Wei, Zixin Wen, Fan Yin, He Xing, Lu Li, Jiajun Shi, Kaijing Ma, Shanda Li, Taylor Kergan, Andrew Smith, Xingwei Qu, Mude Hui, Bohong Wu, Qiyang Min, Hongzhi Huang, Xun Zhou, Wei Ye, Jiaheng Liu, Jian Yang, Yunfeng Shi, Chenghua Lin, Enduo Zhao, Tianle Cai, Ge Zhang, Wenhao Huang, Yoshua Bengio, Jason Eshraghian

分类: cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出Ouro模型以增强语言模型的推理能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 循环语言模型 推理能力 预训练 知识操作 熵正则化 自然语言处理 智能问答

📋 核心要点

  1. 现有的大型语言模型在推理过程中依赖于后期的文本生成，未能充分利用预训练阶段的知识。
  2. 本文提出Ouro模型，通过在预训练阶段引入循环推理机制，提升模型的推理能力和知识操作能力。
  3. 实验结果表明，Ouro模型在多个基准测试中表现优越，推理轨迹与最终输出更为一致，显示出显著的性能提升。

📝 摘要（中文）

现代大型语言模型（LLMs）主要通过显式文本生成进行推理，例如链式思维（CoT），这导致推理能力在训练后被推迟，并未充分利用预训练数据。本文提出并开源了Ouro模型，属于预训练的循环语言模型（LoopLM）系列，通过在潜在空间中进行迭代计算、引入熵正则化目标以优化深度分配，并扩展到7.7万亿个标记，从而将推理能力融入预训练阶段。Ouro 1.4B和2.6B模型在多个基准测试中表现优越，能够与高达12B参数的最先进LLMs相媲美。通过控制实验，我们表明这种优势源于更优的知识操作能力，而非知识容量的增加。我们希望结果展示LoopLM作为推理时代新型扩展方向的潜力。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在推理过程中依赖后期生成的问题，导致推理能力未能在预训练阶段得到充分发挥。

核心思路：Ouro模型通过在预训练阶段引入循环推理机制，使得模型能够在潜在空间中进行迭代计算，从而提升推理能力和知识操作能力。

技术框架：Ouro模型的整体架构包括三个主要模块：潜在空间的迭代计算、熵正则化目标的引入以及大规模数据的处理，确保模型在预训练阶段就具备推理能力。

关键创新：Ouro模型的核心创新在于将推理能力内嵌于预训练阶段，通过循环机制和熵正则化目标优化深度分配，与传统的后期推理方法形成本质区别。

关键设计：模型在参数设置上采用了1.4B和2.6B的规模，损失函数设计中引入了熵正则化，确保模型在推理过程中能够有效利用预训练数据。整体架构支持扩展到7.7万亿个标记，提升了模型的知识操作能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Ouro模型在多个基准测试中表现出色，1.4B和2.6B模型的性能与高达12B参数的最先进LLMs相当，显示出在知识操作能力上的显著提升。这一结果表明，Ouro模型在推理轨迹与最终输出的一致性上优于传统的链式思维方法。

🎯 应用场景

Ouro模型的潜在应用场景包括自然语言处理、对话系统、智能问答等领域。通过在预训练阶段增强推理能力，该模型能够更有效地处理复杂的语言理解任务，提升人机交互的智能化水平，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Modern LLMs are trained to "think" primarily via explicit text generation, such as chain-of-thought (CoT), which defers reasoning to post-training and under-leverages pre-training data. We present and open-source Ouro, named after the recursive Ouroboros, a family of pre-trained Looped Language Models (LoopLM) that instead build reasoning into the pre-training phase through (i) iterative computation in latent space, (ii) an entropy-regularized objective for learned depth allocation, and (iii) scaling to 7.7T tokens. Ouro 1.4B and 2.6B models enjoy superior performance that match the results of up to 12B SOTA LLMs across a wide range of benchmarks. Through controlled experiments, we show this advantage stems not from increased knowledge capacity, but from superior knowledge manipulation capabilities. We also show that LoopLM yields reasoning traces more aligned with final outputs than explicit CoT. We hope our results show the potential of LoopLM as a novel scaling direction in the reasoning era. Our model is available here:this http URL.