Beyond Visual Forensics: Auditing Multimodal Robustness for Synthetic Medical Image Detection
作者: Ching-Hao Chiu, Hao-Wei Chung, Gelei Xu, Xueyang Li, Pin-Yu Chen, John Kheir, Meysam Ghaffari, Carlos Morato, Ahmed Abbasi, Yiyu Shi
分类: cs.CV, cs.AI
发布日期: 2026-06-24
备注: Accepted at MICCAI 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态审计方法以解决合成医学图像检测的脆弱性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成医学图像 多模态鲁棒性 视觉-语言模型 真实性检测 元数据影响 临床应用 数据审计
📋 核心要点
- 现有方法通常孤立地评估合成医学图像的真实性，忽视了图像与元数据的联合影响。
- 论文提出将合成医学图像检测视为图像-记录接口的多模态鲁棒性审计，通过固定图像并交换元数据变体来评估模型的鲁棒性。
- 通过对多种视觉-语言模型的评估，论文量化了元数据对真实性预测的影响，提供了改进多模态鲁棒性的基准工具。
📝 摘要（中文）
随着生成性人工智能的快速应用，合成医学图像带来了日益增长的风险，包括诊断欺骗和保险欺诈。尽管之前的研究探讨了基于视觉-语言模型的合成图像检测，但这些评估通常孤立地考虑图像。在临床实践中，图像与结构化记录和元数据一起解读，视觉-语言模型越来越多地在联合图像-记录输入下部署。我们发现了一种之前未被充分研究的多模态脆弱性：在同时提供两种模态时，视觉-语言模型可能过度依赖记录上下文进行真实性判断，从而导致同一图像仅因其伴随文本的变化而获得不同的预测。这引发了对实际部署中鲁棒性的担忧。为系统性地表征这一效应，我们将合成医学图像检测重新定义为图像-记录接口的多模态鲁棒性审计，并引入了一个配对基准，固定图像同时交换控制的元数据变体。我们评估了多种成像模态下的开放权重和前沿API视觉-语言模型，并量化了仅元数据如何改变真实性预测。我们的基准提供了一个标准化工具，用于评估和改善超越图像单一设置的多模态鲁棒性。
🔬 方法详解
问题定义：本论文旨在解决合成医学图像检测中存在的多模态脆弱性问题。现有方法通常忽视图像与其伴随元数据之间的相互作用，导致模型在真实性判断上可能出现不一致性。
核心思路：论文的核心思路是将合成医学图像检测重新定义为图像-记录接口的多模态鲁棒性审计，重点关注如何在固定图像的情况下，通过变化元数据来评估模型的鲁棒性。
技术框架：整体架构包括数据准备、模型评估和结果分析三个主要模块。首先，固定图像并生成不同的元数据变体；其次，使用视觉-语言模型对每个变体进行真实性预测；最后，分析元数据对预测结果的影响。
关键创新：最重要的技术创新点在于引入了一个配对基准，允许研究者系统性地评估和比较不同模型在多模态输入下的鲁棒性。这一方法与传统的图像单一评估方法本质上不同，提供了更全面的评估视角。
关键设计：在实验中，使用了多种开放权重和前沿API的视觉-语言模型，设计了特定的元数据变体以控制实验条件，并通过量化分析来评估模型对元数据变化的敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，元数据的变化显著影响了视觉-语言模型的真实性预测，某些模型在不同元数据下的预测准确率变化超过30%。这一发现强调了在多模态输入下评估模型鲁棒性的重要性，并为未来的研究提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床决策支持系统以及保险欺诈检测等。通过提高合成医学图像检测的鲁棒性，可以有效降低由于合成图像引发的误诊风险，提升医疗服务的安全性和可靠性。未来，该方法还可能扩展到其他领域的多模态数据分析。
📄 摘要（原文）
With the rapid adoption of generative AI, synthetic medical images pose growing risks, including diagnostic deception and insurance fraud. Although prior work has explored vision-language model (VLM)-based synthetic image detection, these evaluations typically consider images in isolation. In clinical practice, however, images are interpreted alongside structured records and metadata, and VLMs are increasingly deployed under joint image-record inputs. We uncover a previously underexamined multimodal vulnerability: when given both modalities, VLMs may overweight record context in authenticity judgments, such that the same image receives different predictions solely due to changes in its accompanying text. This raises concerns about robustness in real-world deployment. To systematically characterize this effect, we reformulate synthetic medical image detection as an audit of multimodal robustness at the image-record interface and introduce a paired benchmark that holds the image fixed while swapping controlled metadata variants. Across multiple imaging modalities, we evaluate diverse open-weight and frontier API VLMs and quantify how metadata alone shifts authenticity predictions. Our benchmark provides a standardized tool for assessing and improving multimodal robustness beyond image-only settings. The code is available at https://github.com/chiuhaohao/Beyond-Visual-Forensics.