The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation
作者: Adar Peleg, Dvir Alsheich, Tomer Ashuach, Avi Mendelson
分类: cs.AI
发布日期: 2026-11-03
备注: Presented at EMNLP Findings 2026
DOI: 10.18653/2026.findings-emnlp.1346
🔗 代码/项目: GITHUB
💡 一句话要点
提出几何一致性框架以检测LLM中的知识抑制问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识抑制 几何一致性 去学习 对抗恢复 参数知识 模型评估
📋 核心要点
- 现有方法在评估LLM知识时面临挑战，抑制现象可能导致模型隐藏知识而不被检测。
- 本文提出通过测量anon-vectors的几何一致性来检测知识抑制，低熵聚类代表真实知识。
- 实验结果显示，碎片化几何能够有效区分已知与未知概念，并与对抗恢复结果相关联。
📝 摘要（中文）
评估大型语言模型（LLM）是否真正掌握某一概念是一个基本问题，因为行为指标可能会被抑制所欺骗：一个拒绝回答的模型可能仍然拥有可恢复的知识。本文提出了一种框架，通过测量 extit{anon-vectors}的几何一致性，揭示了真正知识形成紧凑的低熵聚类，而无知则导致几何碎片化。实验表明，十个来自三种模型家族的指令调优LLM的所有碎片化指标都能可靠地区分已知和未知概念，并且在后续的去学习过程中，碎片化几何与四种攻击类型和五种去学习算法的对抗恢复相关联，尽管这种关系的方向依赖于攻击方法。此外，分层分析显示，不同的对抗机制在不同深度利用这种几何特性，具有高攻击特异性相关性，这在行为评估中是不可见的。总体结果为无攻击的去学习鲁棒性提供了单阶段的代理，捕捉了输出级指标无法获取的参数知识。
🔬 方法详解
问题定义：本文旨在解决如何有效评估大型语言模型（LLM）是否真正掌握某一概念的问题。现有方法容易受到抑制现象的影响，导致模型隐藏知识而无法被检测。
核心思路：论文提出了一种基于几何一致性的框架，通过分析anon-vectors（概念特定查询与其匿名化释义之间的隐藏状态差异）来揭示知识的存在与否。真正的知识形成紧凑的低熵聚类，而无知则导致几何碎片化。
技术框架：整体架构包括数据预处理、anon-vectors计算、几何一致性分析和结果评估四个主要模块。首先，通过特定查询生成隐藏状态，然后计算其与匿名化释义的差异，最后分析这些差异的几何特性。
关键创新：最重要的创新在于提出了一种无攻击的单阶段代理方法来评估去学习鲁棒性，能够捕捉到输出级指标无法获取的参数知识。这一方法在不同的攻击类型和去学习算法中表现出一致性。
关键设计：在设计中，采用了多种碎片化指标来评估几何一致性，使用了不同的损失函数来优化模型的表现，并进行了层次分析以揭示不同深度对抗机制的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有十个指令调优的LLM在碎片化指标上均能有效区分已知与未知概念，且在去学习后，碎片化几何与对抗恢复之间存在显著相关性。这一方法在不同攻击类型下表现出高一致性，展示了其在评估模型知识方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全性评估、知识管理和去学习机制的优化。通过有效检测和理解模型中的知识抑制现象，可以提升模型的透明度和可控性，促进更安全的人工智能系统的开发。
📄 摘要（原文）
Evaluating whether a large language model (LLM) genuinely knows a concept remains a fundamental problem, since behavioral metrics can be fooled by suppression: a model that refuses to answer may still harbor recoverable knowledge. The framework measures the geometric coherence of \textit{anon-vectors}, the differences in hidden states between a concept-specific query and its anonymized paraphrase, and shows that genuine knowledge forms a tight, low-entropy cluster while ignorance forces geometric fragmentation. Across ten instruction-tuned LLMs from three model families, all fragmentation metrics reliably separate known from unknown concepts, and post-unlearning, fragmentation geometry correlates with adversarial recovery across four attack types and five unlearning algorithms, though the direction of that relationship is shown to depend on attack methodology. Furthermore, a layer-resolved analysis reveals that different adversarial mechanisms exploit this geometry at varying depths, with high attack-specific correlations that are invisible to behavioral evaluation. Together, these results constitute a single-phase, attack-free proxy for unlearning robustness that captures aspects of parametric knowledge inaccessible to output-level metrics. A reference implementation is available at https://github.com/AdarPeleg/geometry-of-ignorance