Subgroup performance analysis of adaptation strategies for chest X-ray foundation models
作者: Dhruv Gupta, Emma A. M. Stanley, Fabio De Sousa Ribeiro, Sujal Desai, Ben Glocker
分类: cs.CV
发布日期: 2026-08-19
备注: Accepted at MICCAI Workshop on Fairness of AI in Medical Imaging (FAIMI) 2026
💡 一句话要点
研究适应策略对胸部X光模型子群公平性的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学影像 子群公平性 适应策略 注意力池化 病理分类 深度学习 模型评估
📋 核心要点
- 现有医学影像模型的适应策略对不同子群的公平性影响尚不清晰，导致潜在的偏见问题。
- 本文提出了三种参数高效的适应技术，探讨其对病理分类性能和子群差异的影响。
- 实验结果显示，注意力池化在性能上表现最佳，但并未一致减少子群间的差异，需针对任务进行具体评估。
📝 摘要（中文）
基础模型在医学影像任务中的适应策略对子群公平性的影响尚不明确。本文探讨了三种参数高效的适应技术，包括在原始CLS标记上的线性头、MLP和多层补丁特征的注意力池化模块，如何影响病理分类性能和子群差异。通过MIMIC-CXR数据集，我们评估了种族、性别和成像视角子群中的八种病理，发现注意力池化在整体判别性能上表现最佳，但并不总是减少子群差异。更强的属性编码并未对应于更大的差异，早期网络层编码种族最弱却产生了最大的子群性能差距。结果表明，更丰富的表示可以提高准确性，但公平性影响因任务而异，需直接评估而非仅依赖编码强度或整体性能推断。
🔬 方法详解
问题定义：本文旨在解决基础模型在医学影像任务中适应策略对子群公平性影响不明确的问题。现有方法在不同子群间的表现差异未得到充分理解，可能导致不公平的医疗决策。
核心思路：通过比较三种参数高效的适应技术，分析其在胸部X光图像中的应用效果，特别关注其对病理分类性能和子群公平性的影响。设计上，重点考察注意力池化模块的表现及其对属性编码的影响。
技术框架：研究使用MIMIC-CXR数据集，评估八种病理在种族、性别和成像视角子群中的表现。整体流程包括数据预处理、模型适应、性能评估及公平性分析。
关键创新：本文的主要创新在于揭示了注意力池化模块在编码属性（特别是种族）方面的优势，同时指出更强的属性编码并不总是与更小的子群差异相关，这一发现挑战了传统观点。
关键设计：在模型设计中，采用了线性头、MLP和注意力池化模块，重点关注各模块在不同层次的表现。实验中使用了平衡的测试集，以确保评估的公正性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，注意力池化模块在整体判别性能上表现最佳，但并未一致减少子群间的差异。具体而言，早期网络层对种族的编码最弱，却产生了最大的子群性能差距，提示需对公平性进行更深入的分析。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床决策支持系统和公平性评估工具。通过优化模型适应策略，可以提高不同人群的诊断准确性，减少医疗偏见，从而提升整体医疗服务的公平性和有效性。
📄 摘要（原文）
Foundation models are increasingly adapted for downstream medical imaging tasks, yet the influence of the chosen adaptation strategy on subgroup fairness remains poorly understood. We investigate how three parameter-efficient adaptation techniques, including linear heads on the raw CLS token, an MLP, and an attention-pooling module over multi-layer patch features, affect both pathology classification performance and subgroup disparities when applied to the frozen Rad-DINO chest X-ray encoder. Using MIMIC-CXR, we evaluate eight pathologies across race, sex, and imaging-view subgroups on a prevalence-preserving, demographically balanced test set, and additionally probe how strongly each adapter encodes protected attributes. We find that attention pooling achieves the strongest overall discriminative performance and encodes attributes, particularly race, most strongly, but that improved overall performance does not consistently reduce subgroup disparities. Notably, stronger attribute encoding did not correspond to larger disparities: early network layers encoded race most weakly yet produced the largest subgroup performance gaps. Exploring different attention-pooling layer combinations further revealed no consistent relationship between the layers pooled, attribute encoding strength, and subgroup fairness. Our results indicate that richer, more expressive representations can improve accuracy while leaving fairness implications task-dependent and unpredictable, which must be assessed directly and per-task rather than inferred from encoding strength or overall performance alone.