Open-Weight MLLMs Cannot Compare What They Cannot Name
作者: Wenxin Su, Anna Kreshuk
分类: cs.CV
发布日期: 2026-10-30
🔗 代码/项目: GITHUB
💡 一句话要点
探讨多模态大语言模型在生物图像分析中的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 生物图像分析 视觉推理 语义识别 显微镜数据集
📋 核心要点
- 现有的多模态大语言模型在处理复杂生物图像时，存在语义识别不足的问题，导致视觉比较能力受限。
- 论文通过对合成蚂蚁图像中身体部位大小的比较，提出了评估MLLMs在视觉比较任务中的表现的基线方法。
- 实验结果显示，尽管视觉比较本身简单，但在某些情况下，模型的表现仍然不佳，揭示了语义识别与视觉比较之间的关系。
📝 摘要（中文）
多模态大语言模型（MLLMs）在理解图像和执行复杂视觉推理方面的能力日益增强，表明它们在自动化生物图像分析中的潜力。随着技术进步，显微镜数据集的规模不断扩大，超出了手动视觉分析的可行范围。本文研究了MLLMs在合成蚂蚁图像中对身体部位大小的比较能力，发现尽管视觉比较对所有部位来说都是简单的，但现有的开源MLLMs在某些身体部位的比较上表现不佳。我们的结果表明，语义识别的缺失可能会影响简单视觉比较的能力，揭示了当前MLLMs的一个意外局限性。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在生物图像分析中对复杂表型进行视觉比较的能力不足，尤其是在某些身体部位的比较上表现不佳。现有方法在处理视觉信息时，缺乏对细粒度结构的有效识别，导致比较结果不准确。
核心思路：论文提出通过对合成蚂蚁图像进行身体部位大小的比较，来评估MLLMs的视觉比较能力。核心思路在于通过简单的视觉任务来揭示模型在语义识别和视觉比较之间的关系。
技术框架：研究采用了多模态大语言模型的框架，结合了视觉编码器和语言模型。主要模块包括图像输入、特征提取、语义识别和比较分析。
关键创新：论文的创新点在于揭示了语义识别的缺失如何影响简单视觉比较的能力，提出了“识别驱动的基础失败”这一概念，强调了视觉和语义之间的相互依赖性。
关键设计：在实验中，采用了不同的上下文学习策略，评估了模型在相关物体识别任务上的表现。关键参数设置包括视觉编码器的设计和损失函数的选择，以确保模型能够有效提取和比较视觉特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的开源多模态大语言模型在某些身体部位的比较上表现不佳，尽管视觉比较本身是简单的。模型在某些情况下的识别失败，导致了视觉比较能力的下降，揭示了语义识别与视觉比较之间的复杂关系。
🎯 应用场景
该研究的潜在应用领域包括生物医学图像分析、生态监测和自动化显微镜图像处理。通过提高多模态大语言模型在视觉比较任务中的能力，能够加速生物图像数据的分析和解读，推动相关领域的研究进展。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) are increasingly capable of understanding images and performing complex visual reasoning, suggesting the possibility of using them to automate biological image analysis. This need is becoming increasingly urgent as advances in technology continue to generate ever larger and more diverse microscopy datasets, already exceeding the scale at which manual visual analysis is feasible. With the final aim to use MLLMs for visual comparison of complex phenotypes, we investigate a very simple baseline: comparison of the size of body parts in synthetic images of ants. We find that state-of-the-art open-weight MLLMs fail for some body parts, but not for others, even though the comparison itself is visually trivial for all of them. We evaluate different in-context learning strategies and analyze performance on the related object recognition task. Our results suggest a recognition-driven grounding failure: structures that the models cannot recognize are instead associated with a recognizable semantic concept, impairing the grounding and comparison of both. Further analysis of the vision encoder is consistent with the hypothesis that fine-grained visual structure may be less well preserved without semantic support. Together, our results reveal a surprising limitation of current MLLMs: semantic recognition can gate simple visual comparisons that do not intrinsically require semantic understanding. Our code and data are available at https://github.com/kreshuklab/Open-Weight-MLLMs-Cannot-Compare-What-They-Cannot-Name