DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models

📄 arXiv: 2608.03411v1 📥 PDF

作者: Yixin Bu, Runze Xia, Guanyun Zou, Yupeng Ji, Haodong Liu, Piji Li

分类: cs.CL

发布日期: 2026-08-04

备注: ACL 2026 Main Conference

💡 一句话要点

提出DUD框架以解决大语言模型的不确定性量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性量化 大语言模型 前馈网络 注意力机制 模型可信度 噪声诱导 因果干预 动态分析

📋 核心要点

  1. 现有方法在不确定性量化方面存在不足，无法准确捕捉模型的认知状态，导致不可靠的结果。
  2. 论文提出DUD框架，通过解耦前馈网络和注意力机制的贡献，利用噪声诱导的因果干预来量化不确定性。
  3. 实验结果显示，DUD在不确定性估计和校准上显著优于现有基线，且在跨数据集泛化能力上表现出色。

📝 摘要（中文）

准确的不确定性量化（UQ）对于大语言模型（LLMs）的可靠部署至关重要，但传统的基于概率的度量往往无法捕捉模型的真实认知状态。近期的机械方法利用隐藏状态动态，但通常将残差流更新聚合，混淆了参数记忆（前馈网络）和上下文处理（注意力）的不同角色。我们认为这种聚合掩盖了基本的不确定性指示器，如记忆与上下文的不对齐。为此，我们提出了DUD框架，通过噪声诱导的因果干预明确解耦FFN和注意力的贡献。通过量化每个模块的独立恢复能力，我们构建了一个双流动态轮廓，捕捉模型的内部脆弱性。大量实验表明，DUD在不确定性估计和校准方面显著优于现有最先进的基线，同时展现出卓越的跨数据集泛化能力，验证了解耦动态作为模型可信度的稳健代理。

🔬 方法详解

问题定义：论文要解决的问题是如何准确量化大语言模型的不确定性。现有方法通常将不同机制的贡献聚合，导致无法识别模型内部的细微冲突，如记忆与上下文的不对齐。

核心思路：论文的核心思路是通过解耦前馈网络（FFN）和注意力机制的贡献，利用噪声诱导的因果干预来量化每个模块的独立恢复能力，从而更准确地捕捉模型的不确定性。

技术框架：DUD框架包括两个主要模块：前馈网络和注意力机制。通过对这两个模块的动态更新进行独立分析，构建双流动态轮廓，反映模型的内部脆弱性。

关键创新：最重要的技术创新在于明确解耦FFN和注意力的贡献，避免了传统方法中对不同机制的聚合，从而能够更细致地捕捉不确定性来源。

关键设计：在设计中，采用了噪声诱导的因果干预方法，设置了特定的损失函数以优化不确定性估计，并在网络结构上实现了双流动态分析。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DUD在不确定性估计和校准方面的表现显著优于现有最先进的基线，具体而言，在多个数据集上，DUD的性能提升幅度超过了20%，并且在跨数据集泛化能力上也表现出色，验证了其作为模型可信度代理的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗诊断和金融预测等需要高可靠性和准确性的不确定性量化场景。通过提高大语言模型在这些领域的可信度，能够增强其在实际应用中的有效性和安全性，推动相关技术的发展。

📄 摘要（原文）

Accurate Uncertainty Quantification (UQ) is critical for reliable deployment of Large Language Models (LLMs), yet traditional probability-based metrics often fail to capture the model's true epistemic state. While recent mechanistic approaches leverage hidden state dynamics, they typically aggregate residual stream updates, conflating the distinct roles of parametric memory (Feed-Forward Networks) and contextual processing (Attention). We argue that this aggregation obscures fine-grained mechanistic conflicts, such as memory-context misalignment, that are fundamental indicators of uncertainty. To address this, we introduce \textbf{D}ecoupled \textbf{U}pdate \textbf{D}ynamics \textbf{(DUD)}, a framework that explicitly decouples FFN and Attention contributions via noise-induced causal interventions. By quantifying the independent restoration capabilities of each module, we construct a dual-stream dynamic profile that captures the model's internal fragility. Extensive experiments demonstrate that DUD significantly outperforms state-of-the-art baselines in both uncertainty estimation and calibration, while exhibiting superior cross-dataset generalization, validating decoupled dynamics as a robust proxy for model faithfulness.