Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

📄 arXiv: 2606.27023v1 📥 PDF

作者: Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出一种新方法以改善医学视觉问答中的不确定性校准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉问答 多模态学习 信心校准 深度学习 模型微调 Brier损失 KL散度 对比学习

📋 核心要点

  1. 现有的医学视觉问答模型在输出时常常表现出过度自信，缺乏有效的信心校准机制。
  2. 本文提出了一种新的训练框架，通过复合损失函数对多模态大型语言模型进行微调，以改善其不确定性校准。
  3. 在多个医学VQA基准测试中，所提方法显著降低了校准误差，并提高了模型的判别能力，同时保持了预测准确性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在医学视觉问答（VQA）中往往产生过于自信的输出，而现有的信心校准方法主要针对文本模型，未能考虑医学图像理解的多模态特性。本文提出了一种基于训练的框架，通过复合损失函数对MLLMs进行微调，以提高其校准性能。该损失函数结合了Brier风格的校准项、锚点正则化器、对比图像文本对齐项和基于KL的模型稳定性项。通过在三个医学VQA基准和两种架构上进行实验，结果显示该方法将校准误差降低60%以上，且在保持预测准确性的同时，改善了判别能力26%以上。

🔬 方法详解

问题定义：本文旨在解决医学视觉问答中多模态大型语言模型（MLLMs）输出过于自信的问题。现有的信心校准方法主要针对文本模型，未能有效处理医学图像的多模态特性，导致模型在实际应用中的可靠性不足。

核心思路：论文提出了一种基于训练的框架，通过复合损失函数对MLLMs进行微调，以提高其校准性能。该方法结合了多种损失项，旨在平衡模型的信心输出与实际正确性。

技术框架：整体架构包括多个模块：首先是Brier风格的校准项，用于衡量模型输出的信心；其次是锚点正则化器，防止信心值向极端值收敛；然后是对比图像文本对齐项，评估模型对视觉输入与语言先验的依赖；最后是基于KL散度的模型稳定性项，确保模型在微调过程中的回答能力。

关键创新：最重要的创新在于提出了复合损失函数，结合了多种正则化和校准机制，特别是针对多模态输入的设计，使得模型能够更好地理解和校准其输出信心。与现有方法相比，该方法更全面地考虑了多模态特性。

关键设计：损失函数的设计包括Brier校准项、锚点正则化器、对比对齐项和KL散度正则化器。实验中使用了$2 imes 2$因子扰动设计，以探测模型对视觉输入与文本完整性的依赖性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个医学VQA基准测试中，所提方法将校准误差降低了60%以上，判别能力提高了26%以上，同时保持了预测准确性。与基于提示、采样和训练的方法相比，该技术在各项指标上均表现优越，验证了每个损失函数组件的必要性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床决策支持系统以及医疗辅助诊断工具。通过提高模型的信心校准能力，可以增强医疗AI系统在实际应用中的可靠性和安全性，进而提升患者的治疗效果和医疗服务质量。

📄 摘要（原文）

Multimodal large language models (MLLMs) applied to Medical Visual Question Answering (VQA) tend to produce overconfident outputs regardless of actual correctness, and existing verbalized confidence calibration methods, developed primarily for text only LLMs, do not account for the multimodal nature of medical image understanding. This work proposes a training based framework that finetunes MLLMs to improve their calibration using a composite loss function combining a Brier style calibration term, an anchor regularizer that prevents confidence collapse toward extreme values, a contrastive image text alignment term, and a KL based model stabilization term. The alignment signal is derived from a $2 \times 2$ factorial perturbation design that crosses image presence with text integrity, probing the reliance of the model on visual modality input versus language priors. Finally, a top K KL divergence regularizer is used to protect the answering ability of the model during finetuning. Across three Medical VQA benchmarks and two architectures (MedGemma 4B IT and Qwen2 VL 7B Instruct), our method reduces calibration error by 60% or more, and improves discrimination by 26% or more, while preserving predictive accuracy. On average across benchmarks, the technique outperforms prompting based, sampling based, and training based approaches, and ablation experiments confirm that each component of the loss function is indeed necessary for improving the calibration. All code for the experiments is publicly available.