Abstract representational geometry supports inference in large language models

📄 arXiv: 2606.23345v1 📥 PDF

作者: Yunan Zeng, Yuwang Wang

分类: cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出抽象表征几何以支持大型语言模型推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 抽象表征 推理机制 几何结构 上下文学习 神经科学 海马体

📋 核心要点

  1. 现有大型语言模型的内部机制不透明，尚不清楚它们是否形成抽象表征或依赖于任务特定的统计规律。
  2. 论文通过文本基础的上下文逆转学习范式，比较人类与LLMs在推理能力和表征几何上的表现。
  3. 研究发现LLMs在推理时展现出类似海马体的抽象几何结构，且高层次的几何正则化能增强可推广推理的能力。

📝 摘要（中文）

人类智能的一个重要特征是能够通过稀疏观察推断潜在任务结构。神经科学研究表明，这种能力依赖于海马体构建抽象表征，表现为神经状态空间中的低维、近正交流形。然而，大型语言模型（LLMs）的内部机制仍然不透明，尚不清楚它们是否形成类似的抽象表征。本文通过适应文本基础的上下文逆转学习范式，比较人类与LLMs在行为和表征层面的表现。结果显示，尽管LLMs的可推广推理不如人类频繁，但当推理发生时，其内部状态展现出类似于海马体的抽象几何结构。这种表征几何并非均匀分布，而是沿模型深度层次组织：较低层次稳定编码刺激身份，而较高层次形成富含抽象上下文几何的功能带。此外，补充干预实验机制性地将几何与推理联系起来：任务序列语言建模诱导几何解缠，而高层的几何正则化增加了可推广推理的出现。综上所述，这些发现确立了抽象表征几何作为支持大型语言模型推理的机制原则。

🔬 方法详解

问题定义：本研究旨在探讨大型语言模型是否具备类似于人类海马体的抽象表征能力，现有方法未能揭示其内部推理机制的透明性。

核心思路：通过适应上下文逆转学习范式，比较人类与LLMs在推理过程中的行为和表征，揭示其几何结构的相似性。

技术框架：研究采用文本基础的上下文逆转学习范式，分为行为实验和表征分析两个主要模块，分别评估推理能力和几何结构。

关键创新：首次将抽象表征几何作为大型语言模型推理的机制原则，揭示了其内部状态的几何结构与人类海马体的相似性。

关键设计：在实验中，采用任务序列语言建模和几何正则化等技术手段，调整模型的层次结构，以增强高层次的抽象上下文几何特征。

📊 实验亮点

实验结果表明，尽管LLMs的可推广推理能力低于人类，但在推理发生时，其内部状态展现出与海马体相似的抽象几何结构。高层几何正则化显著提高了可推广推理的出现频率，表明几何结构在推理中起到关键作用。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和人机交互等。通过理解大型语言模型的推理机制，可以提升其在复杂任务中的表现，推动智能系统的进一步发展与应用。

📄 摘要（原文）

A defining feature of human intelligence is the ability to adapt to changing environments by inferring latent task structure from sparse observations. Neuroscientific research indicates that this capability relies on the hippocampus constructing abstract representations, expressed as low-dimensional, approximately orthogonal manifolds in neural state space. However, the internal mechanisms of large language models (LLMs) remain largely opaque, making it unclear whether they form comparable abstract representations or instead rely on task-specific statistical regularities when performing comparable reasoning tasks. Here we adapt a contextual reversal-learning paradigm to a text-based setting and compare humans and LLMs at both the Behavioural and representational levels. We report that although LLMs exhibit generalizable reasoning less frequently than humans, when such inference occurs, their internal states exhibit abstract geometric structures that resemble those reported in the hippocampus. Notably, this representational geometry is not uniformly distributed but is organized hierarchically across model depth: whereas lower layers show early, stable encoding of stimulus identity, higher layers form a hippocampal-like functional band enriched for abstract context geometry associated with inference. Furthermore, complementary intervention experiments mechanistically implicate geometry in reasoning: task-sequence language modelling induces geometric disentanglement, whereas geometric regularization of higher layers increases the emergence of generalizable inference. Together, these findings establish abstract representational geometry as a mechanistic principle supporting inference in large language models.