LocAnyMed: Vision-Language Grounding for Multimodal Medical Images

📄 arXiv: 2608.03322v1 📥 PDF

作者: Zihan Wang, Tong Liu, Zhiwei Wang, Tao Huang, Wentao Jiang, Sihan Ma, Shanshan Ye, Xiaohui Yang, Jing Zhang

分类: cs.CV

发布日期: 2026-08-04

备注: Technical report; work in progress. 28 pages, 5 figures, and 16 tables. Code: https://github.com/MiliLab/LocAnyMed

🔗 代码/项目: GITHUB

💡 一句话要点

提出LocAnyMed以解决多模态医学图像的视觉语言定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉定位 多模态数据集 可解释人工智能 临床查询 图像分析 深度学习 模型微调

📋 核心要点

  1. 现有的医学视觉定位方法多依赖于自然图像训练，缺乏针对医学图像的有效资源整合，导致定位性能不足。
  2. 本文提出LocAnyMed-200K数据集，统一了不同医学成像模态的检测和定位资源，支持多种查询格式以提升模型的适应性。
  3. 通过对LocateAnything-3B的微调，F1@IoU 0.50的性能显著提升，验证了大规模领域特定数据集的有效性和必要性。

📝 摘要（中文）

医学视觉定位将自由形式的临床查询与医学图像中的空间证据连接起来，是可解释医学人工智能的重要组成部分。然而，现有的通用定位模型主要在自然图像上训练，而医学定位资源在成像模态、数据集和任务表述上仍然分散。为了解决这一问题，本文构建了LocAnyMed-200K，一个包含约20万条图像-查询-答案示例的多模态医学视觉定位数据集，涵盖了计算机断层扫描、光学医学成像、超声和X光。通过对LocateAnything-3B进行全参数微调，F1@IoU 0.50的性能从10.64提升至85.59，证明了大规模领域特定监督能够赋予通用定位模型有效的医学定位能力。此外，本文还推出了LocAnyMed-CoT-20K，增强了推理的合理性，进一步提升了跨源泛化能力。

🔬 方法详解

问题定义：本文旨在解决医学视觉定位中自由形式临床查询与医学图像空间证据之间的连接问题。现有方法多依赖于自然图像，缺乏针对医学图像的有效训练资源，导致定位精度不足。

核心思路：论文通过构建LocAnyMed-200K数据集，整合不同成像模态的医学定位资源，采用统一的指令格式来支持多样化的查询方式，从而提升模型的泛化能力和定位精度。

技术框架：整体架构包括数据集构建、模型训练和推理三个主要阶段。数据集涵盖多种医学成像模态，模型通过全参数微调进行训练，最后进行性能评估。

关键创新：最重要的技术创新在于构建了一个大规模的多模态医学视觉定位数据集，并通过合理的推理机制增强了模型的可解释性，这与现有方法的单一模态训练形成鲜明对比。

关键设计：在模型训练中，采用了多种查询格式的支持，包括边界框、点坐标和负查询输出，损失函数设计上注重定位精度与推理合理性的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通过在LocAnyMed-200K上对LocateAnything-3B进行全参数微调，F1@IoU 0.50的性能从10.64提升至85.59，验证了大规模领域特定监督的有效性，显著提升了医学图像的定位能力。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床辅助诊断和可解释人工智能等。通过提升医学图像的定位能力，能够帮助医生更好地理解和解释影像数据，从而提高诊断的准确性和效率。未来，该技术有望在医疗领域广泛应用，推动智能医疗的发展。

📄 摘要（原文）

Medical visual grounding connects free-form clinical queries to spatial evidence in medical images and is an important component of interpretable medical artificial intelligence. However, general-purpose grounding models are predominantly trained on natural images, while existing medical localization resources remain fragmented across imaging modalities, datasets, and task formulations. To address this gap, we construct LocAnyMed-200K, a multimodal medical visual grounding dataset containing approximately 200K image-query-answer examples across computed tomography, optical medical imaging, ultrasound, and X-ray. We harmonize heterogeneous detection and localization resources into a unified free-form instruction format that supports one or multiple bounding boxes, point coordinates, and no-target outputs for negative queries. Full-parameter fine-tuning of LocateAnything-3B on LocAnyMed-200K improves F1@IoU 0.50 from 10.64 to 85.59 on a held-out evaluation split, demonstrating that large-scale domain-specific supervision can equip a general grounding model with effective medical localization capabilities. Beyond spatial coordinates, a clinically interpretable grounding system should also communicate the evidence supporting its prediction. We therefore derive LocAnyMed-CoT-20K, a rationale-augmented subset that connects anatomical context, visual observations, and spatial conclusions through structured reasoning and further improves cross-source generalization through fine-tuning. Together, these resources provide a unified foundation for studying both localization accuracy and rationale quality across heterogeneous medical imaging modalities. The code is publicly available at https://github.com/MiliLab/LocAnyMed.