World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings
作者: Elan Barenholtz
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-03-04
备注: 12 pages, 3 figures, 3 tables
💡 一句话要点
静态词嵌入蕴含世界知识：无需世界模型即可恢复时空结构
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 静态词嵌入 时空信息恢复 线性探针 词共现 地理信息 时间信息 自然语言处理 知识表示
📋 核心要点
- 现有研究倾向于将LLM中时空信息的线性可恢复性归因于复杂的内部世界模型。
- 本文提出一种更简单的解释，即静态词嵌入本身就蕴含丰富的时空信息，无需复杂的模型。
- 实验表明，通过简单的线性探针，可以从GloVe和Word2Vec中恢复出显著的地理和时间信号。
📝 摘要（中文）
近期研究将大型语言模型（LLM）隐藏状态中地理和时间变量的线性可恢复性解释为类世界内部表征的证据。本文测试了一种更简单的可能性：大部分相关结构已经潜在地存在于文本本身中。通过将相同的岭回归探针应用于基于共现的静态词嵌入（GloVe和Word2Vec），我们发现显著可恢复的地理信号和较弱但可靠的时间信号，城市坐标的留出R^2值为0.71-0.87，历史出生年份的留出R^2值为0.48-0.52。语义邻居分析和目标子空间消融表明，这些信号强烈依赖于可解释的词汇梯度，尤其是国家名称和气候相关词汇。这些发现表明，普通的词共现保留了比通常假设的更丰富的空间、时间和环境结构，揭示了简单的静态嵌入仅从文本中保留世界形状结构的卓越且未被充分认识的能力。因此，仅凭线性探针的可恢复性并不能确立超越文本的表征。
🔬 方法详解
问题定义：现有研究倾向于认为大型语言模型（LLM）能够学习到类似“世界模型”的内部表征，并以此来解释其在时空信息上的表现。然而，这种解释忽略了一个可能性，即文本本身可能已经包含了丰富的时空信息，而这些信息可以通过更简单的方法提取。因此，该论文旨在探究静态词嵌入（如GloVe和Word2Vec）是否能够蕴含并表达时空信息，从而挑战了LLM必须具备复杂世界模型才能理解时空信息的观点。
核心思路：论文的核心思路是，如果静态词嵌入能够有效地捕捉词语之间的共现关系，那么这些共现关系本身就可能蕴含着丰富的时空信息。通过分析词嵌入空间中词语之间的关系，特别是与地理位置和时间相关的词语，可以揭示这些隐藏的时空结构。因此，论文采用线性探针（岭回归）来从静态词嵌入中恢复地理和时间信息，并分析哪些词汇对这些信息的恢复起关键作用。
技术框架：论文的技术框架主要包括以下几个步骤：1) 使用GloVe和Word2Vec等静态词嵌入模型，将文本语料库中的词语映射到高维向量空间。2) 构建线性探针，具体而言是岭回归模型，用于将词嵌入向量映射到地理坐标（经纬度）和时间信息（历史出生年份）。3) 使用留出法评估线性探针的性能，即使用一部分数据训练探针，然后在另一部分数据上测试其恢复时空信息的能力。4) 进行语义邻居分析和子空间消融实验，以确定哪些词汇和词嵌入维度对时空信息的恢复至关重要。
关键创新：论文最重要的技术创新点在于，它证明了简单的静态词嵌入，如GloVe和Word2Vec，在没有显式地进行时空信息建模的情况下，也能够有效地捕捉和表达文本中蕴含的时空信息。这挑战了现有研究中关于LLM必须具备复杂世界模型才能理解时空信息的观点。论文还通过语义邻居分析和子空间消融实验，揭示了哪些词汇和词嵌入维度对时空信息的恢复起关键作用，为理解词嵌入的内部结构提供了新的视角。
关键设计：论文的关键设计包括：1) 使用岭回归作为线性探针，因为它具有良好的泛化能力和易于解释的特性。2) 采用留出法进行模型评估，以确保结果的可靠性。3) 进行语义邻居分析，通过分析与地理位置和时间相关的词语的邻居，来理解词嵌入空间中时空信息的分布。4) 进行子空间消融实验，通过移除特定的词嵌入维度，来确定哪些维度对时空信息的恢复至关重要。论文还特别关注了国家名称和气候相关词汇对地理信息恢复的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过简单的线性探针，可以从GloVe和Word2Vec中恢复出显著的地理信号（城市坐标的留出R^2值为0.71-0.87）和较弱但可靠的时间信号（历史出生年份的留出R^2值为0.48-0.52）。语义邻居分析和子空间消融实验进一步证实，这些信号强烈依赖于可解释的词汇梯度，尤其是国家名称和气候相关词汇。
🎯 应用场景
该研究成果可应用于信息检索、知识图谱构建和地理信息系统等领域。例如，可以利用静态词嵌入来增强地理位置信息的自动提取和标注，提高信息检索的准确性。此外，该研究也为理解语言模型如何学习和表示世界知识提供了新的视角，有助于开发更高效、更可解释的自然语言处理模型。
📄 摘要（原文）
Recent work interprets the linear recoverability of geographic and temporal variables from large language model (LLM) hidden states as evidence for world-like internal representations. We test a simpler possibility: that much of the relevant structure is already latent in text itself. Applying the same class of ridge regression probes to static co-occurrence-based embeddings (GloVe and Word2Vec), we find substantial recoverable geographic signal and weaker but reliable temporal signal, with held-out R^2 values of 0.71-0.87 for city coordinates and 0.48-0.52 for historical birth years. Semantic-neighbor analyses and targeted subspace ablations show that these signals depend strongly on interpretable lexical gradients, especially country names and climate-related vocabulary. These findings suggest that ordinary word co-occurrence preserves richer spatial, temporal, and environmental structure than is often assumed, revealing a remarkable and underappreciated capacity of simple static embeddings to preserve world-shaped structure from text alone. Linear probe recoverability alone therefore does not establish a representational move beyond text.