Do Medical Vision Models Reason About Anatomy? Probing the Spatial Inductive Biases of Learned Visual Representations
作者: Naren Akash, Neeraja Ramanan
分类: eess.IV, cs.AI, cs.CV, cs.LG
发布日期: 2026-08-28
💡 一句话要点
构建SPAR-Bench以探讨医学视觉模型的解剖推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学视觉 解剖推理 CT扫描 空间查询 关系推理 多脏器分析 模型评估
📋 核心要点
- 现有医学视觉模型的评估主要集中在诊断准确性上，缺乏对其解剖推理能力的深入探讨。
- 本文提出SPAR-Bench，通过设计八个探针来评估医学视觉编码器在坐标定位、关系推理和空间查询方面的能力。
- 实验结果表明，编码器在特定任务上的表现并不代表其在实际应用中的推理能力，且使用不同的特征池化方法显著提高了关系恢复的准确性。
📝 摘要（中文）
解读CT扫描需要比较器官之间的结构、判断器官的相对位置以及了解每个器官的归属。现有医学视觉编码器主要通过诊断准确性进行评估，然而其表示是否支持这些推理仍不明确。本文构建了SPAR-Bench，设计了八个探针以评估多脏器腹部CT图像的坐标定位、关系推理和空间查询能力。实验结果显示，尽管某些探针在特定领域表现良好，但在零样本转移下却表现不佳，表明其准确性反映的是对典型解剖结构的记忆而非对图像的计算。研究结果表明，这些编码器主要携带器官的常见位置图，而缺乏在特定患者中比较结构的能力。
🔬 方法详解
问题定义：本文旨在探讨医学视觉模型是否具备解剖推理能力，现有方法在评估模型时缺乏对其空间推理能力的直接测试。
核心思路：通过构建SPAR-Bench，设计多种探针来评估模型在坐标定位、关系推理和空间查询方面的表现，以此揭示模型的潜在能力和局限性。
技术框架：整体流程包括数据准备、探针设计、模型评估和结果分析。探针分为坐标定位、关系推理和空间查询三类，分别针对不同的解剖推理任务。
关键创新：本文的主要创新在于通过SPAR-Bench系统化地评估医学视觉模型的空间推理能力，揭示了现有模型在特定任务上的表现与其实际推理能力之间的差距。
关键设计：探针设计中，采用了不同的特征池化方法，特别是使用池化头而非完整的特征集，从而显著提高了关系恢复的准确性，具体从0.7%提升至67.8%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用池化头的探针在关系恢复任务中的准确率从0.7%提升至67.8%，而在零样本转移下，某些探针的表现则降至随机水平，表明模型的准确性主要依赖于对典型解剖结构的记忆，而非实际的空间推理能力。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床诊断辅助系统和医学教育。通过深入理解医学视觉模型的推理能力，可以提升模型在实际应用中的可靠性和准确性，从而为医生提供更有效的辅助决策支持。
📄 摘要（原文）
Interpreting a CT scan means comparing structures on either side, judging how far apart organs sit, and knowing where each one belongs. Medical vision encoders are evaluated on diagnostic accuracy, or through assembled multimodal systems where a failure is hard to attribute, so it remains unclear whether their representations support any of this. We construct SPAR-Bench, eight probes over multi-organ abdominal CT that separate coordinate localization, relational reasoning, and spatial queries, and apply them to five architectural configurations and three medical foundation models, frozen and finetuned. Probes that ask for a comparison within the slice stay at chance, and neither pretraining scale, finetuning, nor architecture closes the gap. Probes that appear solved in domain fall to chance under zero-shot transfer, indicating that their accuracy reflects recall of canonical anatomy rather than computation over the image. Reading the same frozen features with a pooled head rather than the full set of tokens moves relational recovery from 0.7% to 67.8%, so pooled probing understates what a representation holds. Questions the encoders answer well are answered at chance by four open-weight MLLMs. Our results suggest these encoders carry a map of where organs usually lie, and little of the machinery for comparing structures within a particular patient. Code and data will be available at https://spar-bench.github.io.