Attention-Path Fragility as an Uncertainty Signal in Large Language Models
作者: Minsoo Kim, Sungyoung Ji, Kisung Moon, Ilyong Yoon
分类: cs.CL, cs.AI
发布日期: 2026-08-11
备注: 19 pages, Under review
💡 一句话要点
提出ASMI以解决大语言模型的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 不确定性量化 注意力机制 互信息 自然语言处理
📋 核心要点
- 现有方法在处理大语言模型的不确定性时，主要依赖输出置信度和熵，未能充分考虑注意力路径的脆弱性。
- 本文提出ASMI，通过评估注意力子网络的互信息，来量化模型对token的真实不确定性，提供更深层次的错误预测信息。
- 实验结果显示，ASMI在多个基准测试中表现优异，尤其在自信但脆弱的预测上，显著降低了错误率。
📝 摘要（中文）
本文提出模型对一个token的不确定性不仅体现在输出分布的广度上，还体现在其注意力路径的脆弱性上。我们引入ASMI（注意力子网络互信息），这是一个无训练的估计器，通过屏蔽注意力头并测量结果子网络之间的BALD互信息，结合语义一致性核来减少表面形式的不一致性。该信号并非输出置信度的重述：在基础问答任务中，出样本测试表明它提供了超越单次置信度和熵的错误预测信息，集中在“自信但脆弱”的预测上。ASMI的适用性域是可预测的，在提供上下文的情况下表现强劲，而在从参数知识中回忆时则受限于设计。
🔬 方法详解
问题定义：本文旨在解决大语言模型在处理token不确定性时的不足，现有方法主要依赖输出置信度和熵，未能考虑注意力路径的脆弱性对预测的影响。
核心思路：论文提出ASMI作为一种无训练的估计器，通过屏蔽注意力头并测量子网络之间的互信息，来捕捉模型对token的真实不确定性，从而提供更准确的错误预测信息。
技术框架：ASMI的整体架构包括注意力头的屏蔽、BALD互信息的计算以及语义一致性核的应用。通过这些模块，ASMI能够有效地评估模型在特定上下文下的预测脆弱性。
关键创新：ASMI的主要创新在于引入了注意力路径的脆弱性作为不确定性信号，这与传统方法依赖输出置信度的方式截然不同，能够提供更深入的错误预测信息。
关键设计：ASMI的设计包括对注意力头的选择与屏蔽策略、BALD互信息的计算方法，以及语义一致性核的具体实现，确保在评估不确定性时能够有效减少表面形式的不一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ASMI在十二个基准设置中，最佳变体通常与最强基线相当或领先，其中在三项测试中显著优于基线。特别是在自信但脆弱的预测上，ASMI能够将保留的错误率减少近一半，显示出其在错误预测信息上的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及文本生成任务。通过更准确地评估模型的不确定性，ASMI可以帮助提高系统的鲁棒性和用户体验，未来可能在智能助手和自动化客服等场景中发挥重要作用。
📄 摘要（原文）
We propose that a model's uncertainty about a token is reflected not only in the breadth of its output distribution but also in whether a confident prediction is \emph{fragile} under perturbation of its attention pathways. We instantiate this as ASMI (Attention-Subnetwork Mutual Information), a training-free estimator that masks attention heads and measures the BALD mutual information among the resulting subnetworks, with a semantic-agreement kernel to discount surface-form disagreement. The signal is not a restatement of output confidence: on grounded QA an out-of-fold test shows it adds error-predictive information beyond single-pass confidence and entropy, concentrated in \emph{confident-but-fragile} predictions, where acting on it roughly halves the retained error of a confidence filter. The distinctness is regime-graded, so ASMI predicts its own domain of applicability, strong where answers are routed through provided context and bounded by design where they are recalled from parametric knowledge. Sem-ASMI reads the signal from a single greedy response, without the stochastic generations the strongest baselines require, and ties or beats Semantic Entropy on ten of the twelve grounded benchmark-backbone settings. Across the same twelve settings, the best ASMI variant, typically the adaptive one reusing the ten samples already drawn for the baselines, ties or leads the strongest baseline in eight, significantly in three under a paired test. On parametric QA all variants revert to or below the zero-cost MSP baseline, exactly as predicted, and the estimates are near-deterministic across reruns. A head-level analysis shows that what tracks this boundary is not the presence of head-level fragility but whether that fragility couples to errors.