Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds
作者: Md. Faiyaz Abdullah Sayeedi
分类: cs.CL
发布日期: 2026-08-18
💡 一句话要点
提出几何分析方法以揭示大语言模型的推理机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 几何分析 推理机制 拓扑压缩 幻觉检测 检索增强生成 小世界网络
📋 核心要点
- 现有方法在理解大型语言模型的推理能力时，常常无法捕捉语义接近性，导致解释性不足。
- 本文提出通过分析隐藏状态流形的几何结构，绕过注意力权重，直接揭示LLM的潜在空间组织特征。
- 研究显示，深层推理层能够有效压缩概念距离，并在RAG中实现了对幻觉的检测，提升了生成的事实可靠性。
📝 摘要（中文）
大型语言模型（LLMs）在长上下文中的多跳推理能力显著，但其内部机制尚不清楚。传统的基于注意力的可解释性方法未能捕捉真实的语义接近性。本文通过直接分析隐藏状态流形的动态几何，证明深度LLM的潜在空间本质上组织成小世界网络。我们将长上下文表示的连续相似度矩阵稀疏化为无权图，追踪不同架构之间高度不相连的语义锚点的连接性。研究发现，早期的句法层完全分裂，而深层推理层则突然压缩巨大的概念距离，形成高度可导航的路径，严格受限于“六度分隔”限制（<= 6个语义跳跃）。此外，我们通过在检索增强生成（RAG）中应用该框架，展示了其实际有效性，表明事实基础的生成与其源上下文保持结构完整性（约3个跳跃），而幻觉则导致严重的拓扑崩溃。最终，本研究数学化了变换器如何执行抽象推理，并提供了一种新的严格几何特征用于评估事实可靠性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型内部推理机制不明确的问题，现有方法在捕捉语义接近性方面存在不足，尤其是传统的注意力机制未能有效反映真实的语义关系。
核心思路：论文的核心思路是通过分析隐藏状态流形的动态几何，直接探讨LLM的潜在空间如何组织成小世界网络，从而揭示其推理能力的内在机制。
技术框架：整体架构包括将长上下文表示的相似度矩阵稀疏化为无权图，分析不同架构之间的语义锚点连接性，并研究深层推理层的拓扑特征。
关键创新：最重要的技术创新在于通过几何分析替代传统的注意力权重分析，揭示了深层推理层在概念距离压缩方面的能力，并发现了“六度分隔”的拓扑相变现象。
关键设计：在技术细节上，论文设计了稀疏化的相似度矩阵和无权图的构建方法，确保了对语义锚点的有效连接追踪，并在RAG中应用了该框架进行幻觉检测。
🖼️ 关键图片
📊 实验亮点
实验结果表明，深层推理层能够将概念距离压缩至六度分隔限制内，且在RAG中实现了对幻觉的有效检测。具体而言，事实基础的生成与源上下文保持约3个跳跃的结构完整性，而幻觉则导致严重的拓扑崩溃，显示出该方法在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的生成任务、信息检索和对话系统等。通过揭示大型语言模型的推理机制，能够提高生成内容的事实可靠性，减少幻觉现象，进而提升用户体验和系统的可信度。未来，该方法还可能扩展到其他类型的深度学习模型中，促进更广泛的应用。
📄 摘要（原文）
Large Language Models (LLMs) demonstrate remarkable multi-hop reasoning capabilities over long contexts, yet the internal mechanisms enabling these distant cognitive leaps remain poorly understood. Traditional attention-based interpretability often fails to capture true semantic proximity due to routing artifacts like attention sinks. In this paper, we bypass attention weights to directly analyze the dynamic geometry of the hidden state manifold, proving that deep LLM latent spaces natively organize into Small-World networks. By sparsifying the continuous similarity matrices of long-context representations into unweighted graphs, we trace the connectivity between highly disjoint semantic anchors across two distinct architectures. Our findings reveal a sharp topological phase transition: while early syntactic layers remain entirely fractured, deep reasoning layers abruptly compress massive conceptual distances into highly navigable pathways strictly bounded by the "Six Degrees of Separation" limit (=< 6 semantic hops). Furthermore, we demonstrate the practical efficacy of this framework by applying it to zero-shot hallucination detection within Retrieval-Augmented Generation (RAG) using the RAGognize dataset. We show that factually grounded generations maintain structural integrity with their source context (approximately 3 hops), whereas hallucinations induce severe topological collapse. Ultimately, this work mathematically formalizes how transformers execute abstract reasoning and provides a novel, strictly geometric signature for evaluating factual reliability.