Spatial Message Passing in Language Space for Pathology Image Interpretation
作者: Jing-Cheng Yang, Hao-Jung Wang, Jinhao Du, Yang Hu, Ming-shan Tsai, Jens Rittscher, Bin Li
分类: cs.CV, q-bio.TO
发布日期: 2026-08-14
备注: Accepted at MICCAI 2026 Workshop (Oral)
💡 一句话要点
提出空间语言消息传递框架以解决病理图像解读问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 病理图像分析 多模态学习 空间推理 语言模型 图像解读 自动优化
📋 核心要点
- 现有的多模态大型语言模型在处理超大病理图像时面临视觉上下文限制，导致信息丢失。
- 本文提出的空间语言消息传递（SLMP）框架通过在语言空间中进行空间推理，优化切片描述，克服了传统切片方法的不足。
- 实验结果表明，SLMP在多个数据集上显著提高了肿瘤描述的准确性，且无需对MLLM进行权重更新或微调。
📝 摘要（中文）
多模态大型语言模型（MLLMs）能够从组织学图像生成病理描述，但超大尺寸的全切片图像（WSIs）超出了其视觉上下文限制。标准的切片方法虽然使WSIs可处理，但切断了定义肿瘤- stroma 接口和形态的组织邻域。本文提出了空间语言消息传递（SLMP）框架，在语言空间中进行空间推理，构建可读的空间文本图。每个切片通过整合邻近切片的语言信息来优化描述，从而在不微调MLLM权重的情况下，实现了从局部细胞上下文到更广泛组织形态的自动语义优化。在HER2和CAMELYON16区域的实验中，SLMP显著提高了切片级肿瘤描述的准确性，提升幅度为+3.3至+19.6个百分点。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在处理超大病理图像时的视觉上下文限制问题。现有的切片方法虽然可行，但会切断组织邻域信息，影响肿瘤和基质的界面及形态理解。
核心思路：提出空间语言消息传递（SLMP）框架，通过在语言空间中进行空间推理，构建切片的空间文本图，利用语言信息优化切片描述，从而保留组织的空间关系。
技术框架：SLMP框架将每个切片视为图中的节点，节点通过编码空间邻接关系的边连接。每个切片的描述通过与邻近切片的语言信息整合进行优化，采用共享的聚合策略。
关键创新：SLMP的核心创新在于在语言空间中进行空间推理，而非依赖于传统的学习嵌入。该方法通过可检视的提示进行优化，能够从模型观察到的组织表型中自动调整。
关键设计：SLMP采用了一种自适应局部核策略，在切片网格上进行操作，且不需要对MLLM的权重进行微调。该方法的设计允许从局部细胞上下文到更广泛的组织形态进行语义优化。
🖼️ 关键图片
📊 实验亮点
SLMP在HER2和CAMELYON16数据集上显著提高了切片级肿瘤描述的准确性，提升幅度从+3.3到+19.6个百分点。随机邻居消融实验表明，这些提升源于空间上下文的利用，而非单纯的文本信息。优化后的策略揭示了可解释的组织特异性决策规则。
🎯 应用场景
该研究的潜在应用领域包括病理图像分析、医学诊断辅助系统等。通过引入空间推理机制，SLMP能够提高病理图像解读的准确性，进而提升临床决策的质量和效率。未来，该方法可能在其他医学影像分析领域得到推广，促进多模态学习的发展。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) can generate pathological descriptions from histological images, but gigapixel Whole Slide Images (WSIs) exceed their visual context limits. The standard tiling workaround makes WSIs tractable yet severs the tissue neighborhoods that define tumor-stroma interfaces and morphology. We introduce Spatial Language Message Passing (SLMP), a framework that performs spatial reasoning entirely in language space, human-readable by construction. SLMP represents a WSI region as a spatial text graph: tiles are nodes initialized with MLLM descriptions, and edges encode spatial adjacency. For each tile, an LLM refines its description by integrating language messages from adjacent tiles under a shared aggregation policy that, on the tile grid, acts as an adaptive local kernel operating on text rather than learned embeddings. This policy is an inspectable prompt that can be refined from model-observed tissue phenotypes via textual gradients, enabling automatic semantic optimization from local cellular context to broader tissue morphology without fine-tuning MLLM weights. On representative HER2 and CAMELYON16 regions, SLMP improves tile-level tumor description accuracy in settings spanning general-purpose and pathology-specialized backbones, with gains of +3.3 to +19.6 percentage points. Random-neighbor ablations confirm that these gains stem from spatial context rather than additional text alone, and inspecting the optimized policies reveals interpretable, tissue-specific decision rules. Besides, without any weight updates or fine-tuning the backbone MLLM, SLMP substantially improves general-purpose MLLMs and narrows its gap to pathology-specialized counterparts, offering a transparent and flexible mechanism for incorporating spatial reasoning into MLLM-based pathology analysis.