Ophiuchus: Incentivizing Tool-augmented "Think with Images" for Joint Medical Segmentation, Understanding and Reasoning
作者: Yankai Jiang, Yujie Zhang, Peng Zhang, Wenjie Li, Yichen Li, Jintai Chen, Xiaoming Shi, Shihui Zhen
分类: cs.AI, cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出Ophiuchus以解决医疗图像细粒度分析问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗图像分析 多模态大语言模型 工具增强 细粒度视觉证据 临床诊断 推理链 强化学习
📋 核心要点
- 现有医疗多模态大语言模型在复杂临床任务中表现不足，特别是在细粒度视觉区域的动态关注上。
- Ophiuchus框架通过工具增强，结合MLLM的推理能力，能够有效地进行细粒度视觉证据的选择和整合。
- 实验结果显示，Ophiuchus在VQA、检测和基于推理的分割等多项医疗基准测试中均优于现有的闭源和开源最先进方法。
📝 摘要（中文）
近年来，医疗多模态大语言模型（MLLMs）在生成逐步文本推理链方面取得了显著进展。然而，它们在处理复杂临床任务时仍面临挑战，尤其是在需要动态和迭代关注细粒度视觉区域的情况下。为了解决这一问题，本文提出了Ophiuchus，一个多功能的工具增强框架，使得MLLM能够决定何时需要细粒度视觉证据，确定在医疗图像中探测和定位的区域，并将相关的子图像内容无缝地融入到多模态思维链中，以实现精确的分割和诊断。Ophiuchus通过紧密结合MLLM的固有定位和推理能力与外部工具，推动了更准确和可信的决策。实验结果表明，Ophiuchus在多个医疗基准测试中持续超越现有的最先进方法。
🔬 方法详解
问题定义：本文旨在解决医疗图像分析中，现有方法在细粒度视觉区域动态关注不足的问题，导致临床任务的准确性和效率受限。
核心思路：Ophiuchus通过工具增强的方式，使得MLLM能够在需要时选择细粒度视觉证据，并将其与推理链结合，从而提高决策的准确性和可信度。
技术框架：Ophiuchus的整体架构包括三个主要阶段：冷启动的SFT（监督微调）用于基本工具选择，自我反思微调用于加强决策修正，以及代理工具强化学习以引导更复杂的专家级诊断行为。
关键创新：Ophiuchus的创新在于将MLLM的固有能力与外部工具紧密结合，超越了传统的工具调用方式，提升了决策的准确性和信任度。
关键设计：在训练过程中，采用了多阶段的策略，包括冷启动SFT的参数设置、损失函数的设计以及网络结构的优化，以确保模型在不同阶段的有效性和适应性。
🖼️ 关键图片
📊 实验亮点
Ophiuchus在多个医疗基准测试中表现优异，相较于现有的最先进方法，性能提升显著。例如，在VQA和基于推理的分割任务中，Ophiuchus的准确率提高了X%（具体数据未知），显示出其在复杂医疗任务中的有效性和可靠性。
🎯 应用场景
Ophiuchus的研究成果在医疗影像分析、临床诊断支持系统等领域具有广泛的应用潜力。通过提高细粒度视觉信息的处理能力，该框架能够帮助医生更准确地进行疾病诊断和治疗决策，进而提升医疗服务的质量和效率。未来，该技术可能在智能医疗、远程诊断等场景中发挥重要作用。
📄 摘要（原文）
Recent medical MLLMs have made significant progress in generating step-by-step textual reasoning chains. However, they still struggle with complex clinical tasks that necessitate dynamic and iterative focusing on fine-grained visual regions. To close this gap, we introduce Ophiuchus, a versatile, tool-augmented framework that equips an MLLM to (i) decide when fine-grained visual evidence is needed, (ii) determine where to probe and ground within the medical image, and (iii) seamlessly weave the relevant sub-image content back into an interleaved, multimodal chain of thought for precise segmentation and diagnosis. Ophiuchus moves beyond mere tool-calling by tightly fusing the MLLM's inherent grounding and reasoning capabilities with external tools, enabling more accurate and trustworthy decisions. The core of our method is a three-stage training strategy: cold-start SFT for basic tool selection; self-reflection fine-tuning to strengthen decision revision; and agentic tool reinforcement learning to elicit sophisticated, expert-like diagnostic behaviors. Extensive experiments show that Ophiuchus consistently outperforms both closed-source and open-source SOTA methods across diverse medical benchmarks, including VQA, detection, and reasoning-based segmentation. Our project code is available atthis https URL.