NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems

📄 arXiv: 2601.11004 📥 PDF

作者: Jiayu Liu, Rui Wang, Qing Zong, Yumeng Wang, Cheng Qian, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出NOVA以解决RAG系统中语言模型的过度自信问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 信心校准 噪声感知 检索增强生成 监督学习 模型评估

📋 核心要点

  1. 现有方法在RAG设置下对模型信心的校准表现不佳，尤其是在噪声上下文中，导致过度自信问题严重。
  2. 论文提出NOVA规则，构建噪声感知的校准框架，通过监督微调使模型具备内在的噪声感知能力。
  3. 实验结果显示，NOVA在多个基准上显著提升了模型的校准性能，特别是在处理噪声数据时表现优异。

📝 摘要（中文）

准确评估模型信心对于在关键任务的事实领域中部署大型语言模型至关重要。尽管检索增强生成（RAG）被广泛采用以提高基础性，但在RAG环境下的信心校准仍然缺乏理解。我们在四个基准上进行系统研究，发现当检索到噪声上下文时，LLMs的校准性能较差，尤其是矛盾或无关的证据加剧了模型的过度自信问题。为此，我们提出了NOVA规则（噪声感知的语言信心校准规则），为在噪声下解决过度自信提供了原则基础。我们进一步设计了NOVA，一个噪声感知的校准框架，通过这些规则指导约2000个HotpotQA示例进行监督学习。通过对这些数据进行监督微调，NOVA使模型具备内在的噪声感知，而无需依赖更强的教师模型。实证结果表明，NOVA在领域内和领域外的ECE分数分别提高了10.9%和8.0%。

🔬 方法详解

问题定义：本论文旨在解决在RAG系统中，语言模型在面对噪声上下文时的过度自信问题。现有方法未能有效校准模型信心，尤其是在检索到矛盾或无关证据时。

核心思路：论文提出NOVA规则，旨在通过噪声感知的方式来校准模型信心。通过引入监督学习，模型能够在不依赖强教师模型的情况下，提升对噪声的敏感性。

技术框架：NOVA框架包括数据收集、规则指导、监督微调等主要模块。首先，通过NOVA规则指导收集HotpotQA示例，然后进行监督微调以增强模型的噪声感知能力。

关键创新：NOVA的核心创新在于引入噪声感知的校准规则，解决了传统方法在噪声环境下的不足，使得模型在面对不确定性时能够更准确地评估自身信心。

关键设计：在设计上，NOVA使用了约2000个HotpotQA示例进行训练，采用特定的损失函数来优化模型的信心输出，确保模型能够有效学习到噪声的影响。通过这种方式，NOVA显著提升了模型的校准性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NOVA在领域内和领域外的ECE分数分别提高了10.9%和8.0%。这一显著提升展示了NOVA在处理噪声数据时的有效性，证明了其在信心校准方面的实际贡献。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等关键任务场景，在这些领域中，准确的模型信心评估对于决策至关重要。NOVA的设计能够提高大型语言模型在真实应用中的可靠性和有效性，未来可能推动更多基于RAG的智能系统的发展。

📄 摘要（原文）

Accurately assessing model confidence is essential for deploying large language models (LLMs) in mission-critical factual domains. While retrieval-augmented generation (RAG) is widely adopted to improve grounding, confidence calibration in RAG settings remains poorly understood. We conduct a systematic study across four benchmarks, revealing that LLMs exhibit poor calibration performance especially when noisy contexts are retrieved. Specifically, contradictory or irrelevant evidence tends to exacerbate the model's overconfidence issue. To address this, we propose NOVA Rules (NOise-Aware Verbal Confidence CAlibration Rules) to provide a principled foundation for resolving overconfidence under noise. We further design NOVA, a noise-aware calibration framework that synthesizes supervision from ~2K HotpotQA examples guided by these rules. By performing supervised fine-tuning (SFT) with this data, NOVA equips models with intrinsic noise awareness without relying on stronger teacher models. Empirical results show that NOVA yields substantial gains, improving ECE scores by 10.9% in-domain and 8.0% out-of-domain. By bridging the gap between retrieval noise and verbal calibration, NOVA paves the way for both accurate and epistemically reliable LLMs.