Can "consciousness" be observed from large language model (LLM) internal states? Dissecting LLM representations obtained from Theory of Mind test with Integrated Information Theory and Span Representation analysis

📄 arXiv: 2506.22516v1 📥 PDF

作者: Jingkai Li

分类: cs.CL, cs.AI, cs.NE, q-bio.NC

发布日期: 2025-06-26

备注: Published as a journal paper at: https://doi.org/10.1016/j.nlp.2025.100163

期刊: Natural Language Processing Journal 12C (2025) 100163

DOI: 10.1016/j.nlp.2025.100163

💡 一句话要点

应用综合信息理论分析大语言模型的意识表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 综合信息理论 大语言模型 心智理论 意识研究 Transformer 表示分析 机器学习

📋 核心要点

  1. 现有方法在分析大语言模型的意识表现时缺乏有效的定量框架，难以揭示其内部状态的复杂性。
  2. 本文通过应用综合信息理论（IIT）对LLM表示进行深入分析，探讨其在心智理论测试中的表现差异。
  3. 实验结果显示，当前LLM表示未能显著指示意识现象，但在空间置换分析中发现了有趣的模式。

📝 摘要（中文）

综合信息理论（IIT）提供了一个定量框架来解释意识现象，认为意识系统由通过因果属性整合的元素组成。本文应用IIT 3.0和4.0对大语言模型（LLM）表示进行分析，研究在现有的心智理论（ToM）测试结果中，LLM表现的差异是否可以通过IIT估计（如$Φ^{ ext{max}}$和$Φ$）揭示。研究结果表明，现代Transformer基础的LLM表示缺乏显著的意识现象指标，但在空间置换分析中展现出有趣的模式。

🔬 方法详解

问题定义：本文旨在探讨大语言模型（LLM）内部状态是否能通过综合信息理论（IIT）揭示意识现象。现有方法在这一领域的研究多集中于表面性能，缺乏深入的定量分析。

核心思路：通过应用IIT 3.0和4.0，对LLM在心智理论测试中的表现进行系统分析，旨在揭示其内部表示的潜在意识特征。

技术框架：研究首先收集LLM在心智理论测试中的表现数据，然后利用IIT的不同估计方法（如$Φ^{ ext{max}}$和$Φ$）对这些数据进行分析，最后与独立的Span Representations进行比较。

关键创新：本研究的创新点在于将IIT应用于LLM的表示分析，探索其是否能够揭示意识现象的潜在指标，这在现有文献中尚属首次。

关键设计：研究中采用了IIT 3.0和4.0的多种估计方法，设计了多层次的实验以分析不同Transformer层和语言跨度的表现，确保了数据的全面性和分析的深度。

📊 实验亮点

实验结果表明，现代Transformer基础的LLM表示未能显示出统计显著的意识现象指标，但在空间置换分析中发现了有趣的模式，提示了LLM内部表示的复杂性和潜在的意识特征。

🎯 应用场景

该研究为理解大语言模型的内部状态提供了新的视角，潜在应用于人工智能系统的意识研究、智能体的设计与评估等领域。未来可能推动对机器意识的深入探讨，影响人机交互和智能系统的伦理研究。

📄 摘要（原文）

Integrated Information Theory (IIT) provides a quantitative framework for explaining consciousness phenomenon, positing that conscious systems comprise elements integrated through causal properties. We apply IIT 3.0 and 4.0 -- the latest iterations of this framework -- to sequences of Large Language Model (LLM) representations, analyzing data derived from existing Theory of Mind (ToM) test results. Our study systematically investigates whether the differences of ToM test performances, when presented in the LLM representations, can be revealed by IIT estimates, i.e., $Φ^{\max}$ (IIT 3.0), $Φ$ (IIT 4.0), Conceptual Information (IIT 3.0), and $Φ$-structure (IIT 4.0). Furthermore, we compare these metrics with the Span Representations independent of any estimate for consciousness. This additional effort aims to differentiate between potential "consciousness" phenomena and inherent separations within LLM representational space. We conduct comprehensive experiments examining variations across LLM transformer layers and linguistic spans from stimuli. Our results suggest that sequences of contemporary Transformer-based LLM representations lack statistically significant indicators of observed "consciousness" phenomena but exhibit intriguing patterns under $\textit{spatio}$-permutational analyses. The Appendix and code are available as Supplementary Materials at: https://doi.org/10.1016/j.nlp.2025.100163.