The Mechanistic Emergence of Symbol Grounding in Language Models

📄 arXiv: 2510.13796v2 📥 PDF

作者: Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

分类: cs.CL, cs.CV

发布日期: 2025-10-15 (更新: 2025-10-16)

💡 一句话要点

提出可控评估框架，揭示语言模型中符号 grounding 的涌现机制。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号 grounding 语言模型 机械解释 因果分析 多模态对话 注意力机制 涌现

📋 核心要点

  1. 现有研究缺乏对语言模型中符号 grounding 涌现位置和驱动机制的深入探索。
  2. 论文提出一个受控评估框架，通过机械和因果分析追踪符号 grounding 在模型内部计算中的产生。
  3. 研究发现 grounding 集中在中间层，通过注意力头聚合环境信息以预测语言形式，并在多种架构中得到验证。

📝 摘要（中文）

符号 grounding (Harnad, 1990) 描述了符号（如单词）如何通过与真实世界的感知运动经验相连接来获得其含义。最近的研究表明，在没有使用显式 grounding 目标的情况下，大规模训练的（视觉）语言模型中可能涌现 grounding。然而，这种涌现的具体位置和驱动机制在很大程度上仍未被探索。为了解决这个问题，我们引入了一个受控的评估框架，通过机械和因果分析系统地追踪符号 grounding 如何在内部计算中产生。我们的研究结果表明，grounding 集中在中间层的计算中，并通过聚合机制实现，其中注意力头聚合环境 ground 以支持语言形式的预测。这种现象在多模态对话和跨架构（Transformers 和状态空间模型）中复制，但在单向 LSTMs 中没有。我们的结果提供了行为和机械证据，表明符号 grounding 可以在语言模型中涌现，这对预测和潜在控制生成的可靠性具有实际意义。

🔬 方法详解

问题定义：论文旨在解决语言模型中符号 grounding 如何涌现的问题，现有方法缺乏对涌现位置和驱动机制的系统性分析，难以解释和控制 grounding 的过程。

核心思路：论文的核心思路是通过构建一个可控的评估框架，对语言模型内部的计算过程进行细粒度的分析，从而揭示符号 grounding 的涌现机制。通过因果干预和机械解释，确定 grounding 发生的具体位置和关键组件。

技术框架：该框架包含以下几个主要步骤：1) 设计特定的任务和数据集，用于评估语言模型的 grounding 能力。2) 使用机械解释技术，例如注意力分析和激活分析，来追踪模型内部的信息流动。3) 通过因果干预，例如移除或修改特定的神经元或注意力头，来验证其对 grounding 的影响。4) 综合分析实验结果，确定 grounding 涌现的关键位置和机制。

关键创新：该论文的关键创新在于提出了一个系统性的、可控的评估框架，用于研究语言模型中的符号 grounding。该框架结合了机械解释和因果干预，能够深入地分析模型内部的计算过程，从而揭示 grounding 的涌现机制。与以往的研究相比，该方法更加精细和可控，能够提供更可靠的证据。

关键设计：论文设计了特定的任务，例如多模态对话，来评估语言模型的 grounding 能力。使用了注意力机制分析和激活分析等技术，来追踪模型内部的信息流动。通过移除或修改特定的神经元或注意力头，来验证其对 grounding 的影响。具体参数设置和网络结构的选择取决于所使用的语言模型架构，例如 Transformers 和状态空间模型。

📊 实验亮点

实验结果表明，符号 grounding 主要集中在语言模型的中间层，并通过注意力头聚合环境信息来实现。这种现象在 Transformers 和状态空间模型中得到验证，但在单向 LSTMs 中没有出现。这些结果为理解语言模型中的 grounding 机制提供了重要的证据。

🎯 应用场景

该研究成果可应用于提升语言模型生成内容的可靠性和可控性。通过理解 grounding 的机制，可以更好地预测和控制模型的行为，例如在多模态对话系统中，确保模型能够正确理解和使用视觉信息。此外，该研究还可以指导模型的设计和训练，使其更好地学习和利用真实世界的知识。

📄 摘要（原文）

Symbol grounding (Harnad, 1990) describes how symbols such as words acquire their meanings by connecting to real-world sensorimotor experiences. Recent work has shown preliminary evidence that grounding may emerge in (vision-)language models trained at scale without using explicit grounding objectives. Yet, the specific loci of this emergence and the mechanisms that drive it remain largely unexplored. To address this problem, we introduce a controlled evaluation framework that systematically traces how symbol grounding arises within the internal computations through mechanistic and causal analysis. Our findings show that grounding concentrates in middle-layer computations and is implemented through the aggregate mechanism, where attention heads aggregate the environmental ground to support the prediction of linguistic forms. This phenomenon replicates in multimodal dialogue and across architectures (Transformers and state-space models), but not in unidirectional LSTMs. Our results provide behavioral and mechanistic evidence that symbol grounding can emerge in language models, with practical implications for predicting and potentially controlling the reliability of generation.