Demographic Bias of Expert-Level Vision-Language Foundation Models in Medical Imaging

📄 arXiv: 2402.14815v1 📥 PDF

作者: Yuzhe Yang, Yujia Liu, Xin Liu, Avanti Gulhane, Domenico Mastrodicasa, Wei Wu, Edward J Wang, Dushyant W Sahani, Shwetak Patel

分类: cs.CY, cs.AI, cs.CV, cs.LG

发布日期: 2024-02-22

备注: Code and data are available at https://github.com/YyzHarry/vlm-fairness

💡 一句话要点

研究表明医疗影像AI模型存在人口统计偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗影像 人工智能 算法公平性 人口统计偏见 视觉-语言模型 胸部X光 交叉群体 伦理应用

📋 核心要点

  1. 现有的视觉-语言基础模型在医疗影像中可能会反映人类的偏见，导致对某些群体的诊断不足。
  2. 本研究通过分析五个全球数据集，评估了这些模型在胸部X光诊断中的公平性，揭示了其对边缘化群体的低诊断率。
  3. 研究结果显示，与持证放射科医师相比，这些模型在对边缘化群体的病理诊断中存在显著差距，尤其是在交叉群体中更为严重。

📝 摘要（中文）

随着人工智能在医疗影像领域的进步，专家级的视觉-语言基础模型能够在没有明确训练标注的情况下检测多种病理。然而，这些模型可能会反映或加剧人类偏见，特别是对历史上被边缘化的群体，如女性或黑人患者。本研究调查了当前最先进的视觉-语言基础模型在胸部X光诊断中的算法公平性，发现这些模型在对边缘化群体的诊断上存在系统性低估，尤其是在交叉群体（如黑人女性患者）中表现更为明显。这种人口统计偏见可能加剧医疗服务的不平等，提出了伦理应用的挑战。

🔬 方法详解

问题定义：本研究旨在解决视觉-语言基础模型在医疗影像中可能存在的人口统计偏见问题。现有方法在对边缘化群体的诊断上表现不佳，可能导致医疗服务的不平等。

核心思路：通过分析五个全球数据集，研究这些模型在胸部X光诊断中的表现，重点关注其对不同人口统计特征群体的诊断能力。

技术框架：研究采用了多种数据集进行模型评估，比较了模型与持证放射科医师的诊断结果，分析了模型嵌入中的人口统计信息。

关键创新：本研究的创新点在于系统性地揭示了视觉-语言基础模型在医疗影像中的人口统计偏见，尤其是对交叉群体的低诊断率，这是以往研究中未充分探讨的领域。

关键设计：研究中使用了多种评估指标来量化模型的诊断能力，并分析了模型嵌入中编码的人口统计信息，以揭示其潜在的偏见来源。

📊 实验亮点

研究结果表明，视觉-语言基础模型在对边缘化群体的诊断中存在显著低估现象，尤其是在黑人女性患者中，低诊断率更为明显。这一发现强调了在医疗影像AI应用中考虑人口统计公平性的必要性。

🎯 应用场景

该研究的发现对医疗影像AI系统的应用具有重要意义，特别是在确保公平医疗服务方面。通过识别和纠正模型中的偏见，可以提高对所有患者群体的诊断准确性，促进医疗公平。未来，研究结果可为AI在医疗领域的伦理应用提供指导，确保技术的公平性和有效性。

📄 摘要（原文）

Advances in artificial intelligence (AI) have achieved expert-level performance in medical imaging applications. Notably, self-supervised vision-language foundation models can detect a broad spectrum of pathologies without relying on explicit training annotations. However, it is crucial to ensure that these AI models do not mirror or amplify human biases, thereby disadvantaging historically marginalized groups such as females or Black patients. The manifestation of such biases could systematically delay essential medical care for certain patient subgroups. In this study, we investigate the algorithmic fairness of state-of-the-art vision-language foundation models in chest X-ray diagnosis across five globally-sourced datasets. Our findings reveal that compared to board-certified radiologists, these foundation models consistently underdiagnose marginalized groups, with even higher rates seen in intersectional subgroups, such as Black female patients. Such demographic biases present over a wide range of pathologies and demographic attributes. Further analysis of the model embedding uncovers its significant encoding of demographic information. Deploying AI systems with these biases in medical imaging can intensify pre-existing care disparities, posing potential challenges to equitable healthcare access and raising ethical questions about their clinical application.