MIRROR: Multimodal Intelligent Radiology Reasoning and Observation Reporter
作者: Vignesh Nagarajan, Sriram Venkatapathy
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-08-17
备注: 8 pages, 5 figures, 5 tables, 24 references
💡 一句话要点
提出MIRROR以解决放射科报告生成中的信息失真问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 放射学 多模态学习 模型解释 报告生成 Grad-CAM 类不平衡 深度学习
📋 核心要点
- 现有的放射科模型输出缺乏解释，可能导致错误的报告生成，影响临床决策。
- MIRROR通过多标签分类器和Grad-CAM定位器的组合，确保生成的报告与模型输出严格对应，避免信息失真。
- 在ChestMNIST数据集上，该模型的宏观AUROC达到0.729，显示出比随机模型更高的精度，但在某些标签上未能产生正预测，反映出放射学中的类不平衡问题。
📝 摘要（中文）
放射科医生在解读模型输出时面临两个主要问题：模型返回的数字缺乏解释，而任何将该数字转化为可读文本的系统可能会悄然添加模型未做出的声明。MIRROR是一个研究原型，旨在解决这些问题。它通过多标签分类器、Grad-CAM定位器和报告生成器的链式结构，确保语言层无法看到图像，从而避免错误声明。该系统在ChestMNIST数据集上实现了宏观AUROC 0.729的成绩，显示出比随机排名器更高的精度，但在某些标签上未能产生正预测，强调了放射学中类不平衡的挑战。
🔬 方法详解
问题定义：论文要解决的问题是放射科模型输出的解释性不足，现有方法可能在生成报告时引入错误信息，影响临床决策的准确性。
核心思路：MIRROR的核心思路是通过将多标签分类器与Grad-CAM定位器结合，确保生成的文本报告仅基于模型的真实输出，而不依赖于图像，从而避免错误声明。
技术框架：整体架构包括三个主要模块：多标签分类器用于识别图像中的多个病变，Grad-CAM定位器将每个正向发现映射到相应的解剖区域，报告生成器则根据分类器的标签和概率生成文本报告。
关键创新：MIRROR的最大创新在于其语言层无法访问图像数据，这样可以确保生成的报告不会包含模型未做出的发现，从而提高报告的可信度和可审计性。
关键设计：在模型设计中，使用了特定的损失函数来优化分类器的性能，并通过Grad-CAM技术增强定位的准确性。此外，报告生成器的设计确保了生成文本的自然性和准确性。
🖼️ 关键图片
📊 实验亮点
在ChestMNIST数据集上，MIRROR的多标签分类器达到了宏观AUROC 0.729，显示出比随机模型高出1.6到6.8倍的精度。然而，在默认阈值下，模型对11个标签未能产生正预测，强调了放射学中类不平衡的挑战。
🎯 应用场景
MIRROR的研究成果在放射学领域具有重要应用潜力，能够提高放射科报告的准确性和可信度，减少因信息失真导致的临床决策错误。未来，该系统可以扩展到其他医学影像领域，促进多模态数据的整合与分析。
📄 摘要（原文）
A radiologist reading a model's output faces two problems. The model returns a number and no reason, and any system that turns that number into readable prose can quietly add claims the model never made. MIRROR is a research prototype built to separate those failures. It chains a multi-label classifier, a Grad-CAM localizer that turns each positive finding into a named anatomical region, and a report writer that receives the labels, probabilities, and regions but never the image. Because the language layer cannot see pixels, it cannot assert a finding the classifier did not make. We are precise about what that buys: a MIRROR report's findings are auditable against the probability vector, while the sentences framing them are ordinary generated text, and we show one stating a cardiothoracic ratio the system never measured. One registry holds the taxonomy, anatomy, and phrasing for chest X-ray, brain MRI, and head CT, so adding a modality is a data change; all three are routed and tested, one is trained. On ChestMNIST that classifier reaches macro AUROC 0.729 and ranks better than chance on all 14 labels, at 1.6 to 6.8 times the precision a random ranker would get. Yet at the default 0.5 threshold it emits no positive prediction at all for 11 of them, and its excellent-looking Brier score of 0.045 sits beside the 0.047 earned by a predictor that ignores the image. The discrimination is real; the decisions are not. Under the class imbalance normal in radiology, aggregate metrics flatter models that do nothing, and should be reported against that floor.