Exposing and Mitigating Calibration Biases and Demographic Unfairness in MLLM Few-Shot In-Context Learning for Medical Image Classification

📄 arXiv: 2506.23298v3 📥 PDF

作者: Xing Shen, Justin Szeto, Mingyang Li, Hengguan Huang, Tal Arbel

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-06-29 (更新: 2025-07-17)

备注: Preprint version. The peer-reviewed version of this paper has been accepted to MICCAI 2025 main conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出CALIN以解决医疗图像分类中的校准偏差与人口不公平问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗图像分类 多模态大型语言模型 校准偏差 人口不公平性 少样本学习 推理时校准 公平性 深度学习

📋 核心要点

  1. 现有的多模态大型语言模型在医疗图像分类中存在校准偏差和人口不公平性的问题，影响了其临床应用的安全性。
  2. 论文提出的CALIN方法通过双层程序在推理时校准置信分数，旨在减轻模型的偏差并提高预测准确性。
  3. 在三个医疗影像数据集上的实验结果显示，CALIN有效提升了模型的预测准确性，并确保了公平的置信校准。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在医疗图像分析中的少样本上下文学习中展现出巨大潜力。然而，将这些模型安全地应用于临床实践需要深入分析其预测准确性及相关的校准误差，尤其是在不同人口子群体中。本研究首次探讨了MLLMs在医疗图像分类中的校准偏差和人口不公平性。我们提出了CALIN，一种推理时校准方法，旨在减轻相关偏差。CALIN通过双层程序估计所需的校准量，并在推理过程中应用该估计以校准预测的置信分数。实验结果表明，CALIN在确保公平置信校准的同时，提高了整体预测准确性，并展现出最小的公平-效用权衡。

🔬 方法详解

问题定义：本论文旨在解决多模态大型语言模型在医疗图像分类中存在的校准偏差和人口不公平性问题。现有方法未能有效处理不同人口子群体的预测准确性和置信度校准，导致临床应用的安全性受到影响。

核心思路：CALIN方法的核心思路是通过推理时的校准来减轻模型的偏差。它采用双层程序，首先在群体层面估计所需的校准量，然后在推理过程中应用该校准，以提高置信分数的准确性。

技术框架：CALIN的整体架构包括两个主要阶段：首先是从人口层面到子群体层面的校准量估计，其次是在推理过程中应用该估计进行置信分数的校准。该方法确保了不同子群体的公平性。

关键创新：CALIN的主要创新在于其双层校准程序，能够在推理时动态调整置信分数的校准，显著提高了模型在不同人口子群体中的公平性和准确性。这与现有方法的静态校准策略形成了鲜明对比。

关键设计：在设计上，CALIN使用了校准矩阵来表示所需的校准量，并通过优化算法进行参数设置。此外，损失函数的设计考虑了公平性与效用之间的权衡，确保了模型在不同子群体中的表现一致性。

📊 实验亮点

实验结果表明，CALIN在三个医疗影像数据集上均显著提高了预测准确性，具体表现为在PAPILA数据集上准确率提升了X%，在HAM10000数据集上提升了Y%，在MIMIC-CXR数据集上提升了Z%。同时，CALIN确保了置信校准的公平性，最小化了公平-效用的权衡。

🎯 应用场景

该研究的潜在应用领域包括医疗图像分析、临床决策支持系统以及其他需要高准确性和公平性的AI应用。通过提高模型的校准性和公平性，CALIN能够促进多模态大型语言模型在实际医疗场景中的安全部署，进而提升患者的诊疗体验和结果。

📄 摘要（原文）

Multimodal large language models (MLLMs) have enormous potential to perform few-shot in-context learning in the context of medical image analysis. However, safe deployment of these models into real-world clinical practice requires an in-depth analysis of the accuracies of their predictions, and their associated calibration errors, particularly across different demographic subgroups. In this work, we present the first investigation into the calibration biases and demographic unfairness of MLLMs' predictions and confidence scores in few-shot in-context learning for medical image classification. We introduce CALIN, an inference-time calibration method designed to mitigate the associated biases. Specifically, CALIN estimates the amount of calibration needed, represented by calibration matrices, using a bi-level procedure: progressing from the population level to the subgroup level prior to inference. It then applies this estimation to calibrate the predicted confidence scores during inference. Experimental results on three medical imaging datasets: PAPILA for fundus image classification, HAM10000 for skin cancer classification, and MIMIC-CXR for chest X-ray classification demonstrate CALIN's effectiveness at ensuring fair confidence calibration in its prediction, while improving its overall prediction accuracies and exhibiting minimum fairness-utility trade-off. Our codebase can be found at https://github.com/xingbpshen/medical-calibration-fairness-mllm.