From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

📄 arXiv: 2606.28127v1 📥 PDF

作者: Paul Dubois

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-06-26

备注: 10 pages, 6 figures, 1 table

💡 一句话要点

将大型语言模型视为世界模型的特例，探讨其持续发展路径

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 世界模型 潜在空间 自监督学习 智能系统 多标记预测 未来摘要预测

📋 核心要点

  1. 现有方法将大型语言模型与世界模型视为二元对立，限制了对其关系的深入理解。
  2. 论文提出 LLMs 是世界模型的特例，并探讨了从 NTP 到 JEPA 的连续谱，放宽 LLM 的约束。
  3. 研究提出了数据和架构的开放问题，探讨如何从自监督文本转向带有动作标签的环境。

📝 摘要（中文）

人工智能领域将大型语言模型（LLMs）与世界模型的关系视为二元对立：LLMs 预测标记，而世界模型模拟现实。Yann LeCun 在 2022 年提出，实现通用智能需要放弃自回归标记预测，转向潜在空间架构。本文提出 LLMs 是世界模型的一个退化特例，状态空间为所有标记序列，唯一的动作是附加一个标记。此外，论文探讨了从 NTP 到 JEPA 的自然连续谱，当前研究已在多标记预测、未来摘要预测和下一个潜在预测等中间站点上取得进展。

🔬 方法详解

问题定义：论文要解决的问题是现有方法对大型语言模型与世界模型关系的二元化理解，导致对其潜力的低估。现有方法在处理复杂任务时面临局限性。

核心思路：论文的核心思路是将 LLMs 视为世界模型的特例，强调其在状态空间和动作上的限制，并提出一个从 NTP 到 JEPA 的连续谱，逐步放宽 LLM 的约束。

技术框架：整体架构包括两个主要模块：一是对 LLMs 作为世界模型特例的分析，二是对连续谱的探讨，涵盖多标记预测、未来摘要预测等中间阶段。

关键创新：最重要的技术创新在于将 LLMs 重新定义为世界模型的特例，并提出了一个新的视角来理解其在通用智能中的角色，强调了潜在空间架构的重要性。

关键设计：论文讨论了数据问题和架构问题，探讨了如何从自监督文本数据转向带有动作标签的环境，以及变换器架构是否能够推广到连续状态预测。具体的参数设置和损失函数尚未明确，留待未来研究探索。

📊 实验亮点

论文通过理论分析和现有研究的对比，提出了 LLMs 与世界模型之间的连续谱，强调了多标记预测和未来摘要预测的潜力，为未来的研究提供了新的方向。具体的性能数据和对比基线尚未提供，需在后续研究中验证。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和智能系统设计。通过重新定义 LLMs 的角色，可以推动更复杂的智能系统的发展，提升其在动态环境中的适应能力和决策能力。

📄 摘要（原文）

The AI community has framed the relationship between large language models (LLMs) and world models as a dichotomy: LLMs predict tokens; world models simulate reality. Yann LeCun argues in 2022 that reaching general intelligence requires abandoning autoregressive token prediction in favour of latent-space architectures. This framing is unnecessarily binary. Two claims will be defended. First, LLMs are a degenerate special case of world models: the state space is the set of all token sequences, the only action is appending one token, and world models are therefore a strict generalisation of LLMs, not a replacement. Second, there is a natural continuous spectrum from NTP to JEPA, with multi-token prediction, future-summary prediction, and next-latent prediction as intermediate stations already populated by current research. Moving along this spectrum relaxes the LLM constraints one by one. It also progressively surrenders the two practical advantages that make LLMs trainable at scale: internet-scale self-supervised data, and a transformer architecture co-designed for discrete token prediction. Both are examined as open research questions: the data question (the cliff from self-supervised text to instrumented action-labelled environments) and the architecture question (whether the transformer generalises to continuous-state prediction, or whether a new primitive is needed).