PathView-Bench: Can Multimodal Large Language Models Achieve Fine-grained Multiscale Understanding of Pathology Images?
作者: Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang
分类: cs.AI
发布日期: 2026-07-30
💡 一句话要点
提出PathVU基准以解决病理图像多尺度理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 病理图像分析 细粒度理解 多尺度评估 计算病理学 视觉问答任务 模型评估基准
📋 核心要点
- 现有的多模态基准主要关注最终诊断结果，无法有效评估模型对病理图像多尺度内容的理解能力。
- 本文提出PathVU基准，通过细粒度和多尺度的视觉理解评估，填补了现有方法的空白。
- 实验结果显示，18个MLLM在细粒度视觉任务上表现有限，PathVU为未来模型开发提供了可重复的评估基础。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在病理图像分析中的应用日益增加。然而，现有的多模态基准主要集中在最终诊断答案、描述或报告的评分上，这限制了对模型在病理推理和决策中理解多尺度视觉内容的评估。为此，本文引入了PathVU，一个专注于计算病理学中细粒度和多尺度视觉理解的基准。PathVU基于23个公共病理影像数据集，评估MLLM在高分辨率局部区域和宏观全切片视图中的理解能力。该基准包含14个VQA风格任务，61,673张图像和308,070个样本，覆盖28个器官和7,253,526个注释。通过对18个代表性的MLLM进行评估，发现即使是先进模型在细粒度视觉任务上也存在显著局限性。
🔬 方法详解
问题定义：本文旨在解决现有多模态基准在病理图像分析中对模型理解能力评估不足的问题，尤其是在多尺度视觉内容的理解上存在的挑战。
核心思路：PathVU基准通过引入细粒度和多尺度的评估方法，提供了对MLLM在病理图像理解方面的深入分析，确保模型能够在不同视角下进行有效推理。
技术框架：PathVU基于23个公共病理影像数据集，包含高分辨率局部区域（Region FOV）和宏观全切片视图（Slide FOV）两种视角，评估内容涵盖区域定位、视觉识别、数量估计、空间推理等任务。
关键创新：PathVU的创新在于将原始注释转化为确定性任务目标，使得模型在多尺度视觉理解方面的评估更加系统和可重复，填补了现有基准的不足。
关键设计：PathVU包含14个VQA风格任务，61,673张图像和308,070个样本，涵盖28个器官和7,253,526个注释，设计了程序化评分机制以评估模型的多方面能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在PathVU基准上评估的18个代表性MLLM在细粒度视觉任务上存在显著局限性，尽管这些模型在其他任务上表现良好。具体而言，模型在多尺度病理图像理解方面的性能未达到预期，显示出改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、病理诊断辅助系统和医疗AI模型的开发。通过提供一个系统化的评估基准，PathVU能够帮助研究人员和开发者更好地理解和改进多模态语言模型在病理图像分析中的表现，推动智能医疗的发展。
📄 摘要（原文）
Multimodal large language models (MLLMs) are increasingly used to analyze pathology images. However, dominant multimodal benchmarks in pathology mainly score final diagnostic answers, captions, or reports. These evaluations provide limited insight into whether a model understands the multiscale visual content needed for pathology reasoning and decision-making. We introduce PathVU, a vision-anchored benchmark for fine-grained and multiscale visual understanding in computational pathology. Built from 23 public pathology imaging datasets with human-supervised labels and spatial annotations, PathVU evaluates MLLM understanding in two fields of view: Region FOV for high-resolution local regions and Slide FOV for macro whole-slide views. By converting raw annotations into deterministic task targets, PathVU enables programmatic scoring of region localization, visual recognition, quantity estimation, spatial reasoning, and insufficient-context judgment. The benchmark contains 14 VQA-style tasks, 61,673 images, and 308,070 samples across 28 organs and 7,253,526 annotations. Evaluating 18 representative general-purpose, medical-domain, and pathology-oriented MLLMs, we observe substantial limitations even in advanced models on fine-grained visual tasks across multiscale pathology images. PathVU provides a reproducible basis for developing and evaluating pathology MLLMs with explicit multiscale visual understanding.