Navigating Gigapixel Pathology Images with Large Multimodal Models
作者: Thomas A. Buckley, Kian R. Weihrauch, Katherine Latham, Andrew Z. Zhou, Padmini A. Manrai, Arjun K. Manrai
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出GIANT以解决病理全切片图像导航问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 病理图像分析 多模态模型 问答系统 图像导航 临床应用
📋 核心要点
- 现有的病理图像问答系统通常依赖于固定的嵌入或复杂的多组件管道，导致信息丢失和泛化能力不足。
- GIANT通过无训练的方法，使多模态模型能够自主选择多放大倍数的图像区域，逐步聚合信息以进行问答。
- 在五个基准测试中，GIANT使用GPT-5模型在四个基准上超越了专门的病理问答模型，展示了其卓越的性能。
📝 摘要（中文）
近年来，大型多模态模型的进展使得交互式聊天模型能够对病理全切片图像（WSIs）进行对话和推理。然而，现有的幻灯片级聊天系统通常高度专业化，往往将WSIs压缩为固定的幻灯片级嵌入，或依赖多组件管道，这可能导致多尺度细节的丢失，并限制了超出目标任务的泛化能力。本文提出了GIANT（用于导航组织的千兆像素图像代理），这是一种简单的无训练方法，使通用多模态模型能够自主导航WSIs，迭代选择多放大倍数的裁剪区域并随时间聚合证据。为了评估WSI问答的泛化能力并促进可重复性，我们引入了MultiPathQA，这是一个涵盖五个临床挑战和934个问题的基准套件，涉及868个独特的WSIs。使用GPT-5，GIANT在五个基准中的四个上超越了专门针对病理问答的模型，达到了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决现有病理全切片图像（WSIs）问答系统的局限性，特别是信息压缩和多尺度细节丢失的问题。现有方法通常依赖于固定的幻灯片级嵌入或复杂的多组件管道，导致泛化能力不足。
核心思路：GIANT的核心思路是通过无训练的方法，让通用多模态模型自主导航WSIs，迭代选择不同放大倍数的图像区域，并在此过程中聚合证据。这种设计使得模型能够更好地捕捉多尺度信息，提升问答的准确性。
技术框架：GIANT的整体架构包括图像导航模块和信息聚合模块。首先，模型根据用户输入的问题选择合适的图像区域，然后通过多次迭代逐步聚合来自不同区域的信息，以形成最终的答案。
关键创新：GIANT的主要创新在于其无训练的设计，使得通用多模态模型能够在没有特定任务训练的情况下，自主进行复杂的图像导航和问答。这与现有方法的依赖于固定嵌入和多组件管道形成鲜明对比。
关键设计：在设计中，GIANT采用了多放大倍数的图像裁剪策略，确保在不同尺度下获取信息。此外，聚合证据的过程使用了动态加权机制，以便更好地整合来自不同区域的信息。
🖼️ 关键图片
📊 实验亮点
GIANT在使用GPT-5模型的实验中，达到了在五个基准测试中四个的最先进性能，显示出其在病理问答任务中的优越性。具体而言，GIANT在多个临床挑战中表现出色，显著超越了传统的病理问答模型，提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括医学图像分析、病理诊断支持系统以及教育培训等。通过提升病理图像问答的准确性和效率，GIANT能够为病理学家提供更好的决策支持，促进临床实践的改进。未来，该方法还可能扩展到其他医学影像领域，推动智能医疗的发展。
📄 摘要（原文）
Recent advances in large multimodal models have allowed for the development of interactive chat models that can converse and reason about pathology whole-slide images (WSIs). However, existing slide-level chat systems are often highly specialized, typically compressing WSIs into fixed slide-level embeddings or relying on multi-component pipelines, which can lose multi-scale detail and limit generalizability beyond the target task. We present GIANT (Gigapixel Image Agent for Navigating Tissue), a simple, training-free approach that lets general-purpose multimodal models navigate WSIs on their own, iteratively selecting multi-magnification crops and aggregating evidence over time. To evaluate generalizability in WSI question answering and to promote reproducibility, we introduce MultiPathQA, a benchmark suite spanning five clinical challenges and 934 questions over 868 unique WSIs. This includes a new set of 128 pathologist-authored multiple-choice questions designed to mirror real diagnostic search and multi-scale reasoning. Using GPT-5, GIANT outperforms models specialized for pathology question answering, achieving state-of-the-art performance on four out of five benchmarks.