PhysCount: Do MLLMs Count Visual Appearances or Physical Entities?
作者: Lidong Lu, Jiaxin Lv, Liangrui Dong, Xinyi Mao, Lidong Zou, Zhenquan Li, Tong Lu, Guo Chen
分类: cs.CV
发布日期: 2026-10-29
💡 一句话要点
提出PhysCount以解决视觉外观与物理实体计数问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 视觉计数 大型语言模型 图像理解 物理实体识别
📋 核心要点
- 现有视觉计数方法未能有效区分图像中可见外观与物理实体，导致计数准确性不足。
- 论文提出PhysCount基准，通过设计特定问题组来评估MLLMs在区分外观与实体方面的能力。
- 实验结果显示，尽管可见外观的计数相对容易，但恢复物理实体的身份仍然存在显著挑战，最强模型的正确率仅为13.36%。
📝 摘要（中文）
图像揭示了外观，但计数通常询问物理对象。单个实体可能直接可见、在多个反射中或通过玻璃观察，因此检测每个可见出现并不能确定场景中存在多少实体。现有的视觉计数基准很少将这两种操作分开。我们引入了PhysCount，一个用于评估多模态大型语言模型（MLLMs）是否能够区分图像中出现的内容与场景中物理存在的基准。PhysCount包含546张真实世界图像和4595个由人类编写的问题，组织成651个特定目标组。每组中，注释者定位相关外观，标记观察方式，并识别相同实体的外观。四个互补的问题家族测试外观计数、物理实体计数、图像形成特定计数和外观-实体对应关系。我们测量每个家族的准确性以及完全正确回答的组的比例。在40个MLLMs中，计数可见外观显著容易于恢复连接它们的身份。即使是最强模型也仅在13.36%的组中正确回答每个问题。性能在一个实体产生多个外观或其外观跨越观察模式时下降。更高的图像分辨率改善了对视觉证据的访问，但在完整组准确性上的提升有限，而联合回答相关问题则显著改善了结果。这些结果揭示了识别可见内容与正确恢复这些观察背后的物理实体之间的差距。
🔬 方法详解
问题定义：本论文旨在解决多模态大型语言模型在图像计数任务中无法有效区分可见外观与物理实体的问题。现有方法在处理反射、透视等复杂情况时表现不佳，导致计数结果不准确。
核心思路：论文通过引入PhysCount基准，设计了多种问题类型，旨在评估模型在不同计数任务中的表现，特别是区分外观与实体的能力。这样的设计使得模型在面对复杂场景时能够更好地理解和处理信息。
技术框架：PhysCount基准包含546张图像和4595个问题，分为651个特定目标组。每组问题由注释者标注相关外观、观察方式及相同实体的外观。问题分为四类：外观计数、实体计数、图像形成特定计数和外观-实体对应关系。
关键创新：最重要的创新在于PhysCount基准的提出，它不仅提供了丰富的图像和问题数据，还明确区分了可见外观与物理实体的计数任务，填补了现有研究的空白。
关键设计：在实验中，模型的性能受到多个因素的影响，包括图像分辨率、外观数量及观察模式。论文还探讨了联合回答相关问题的策略，以提高整体准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在40个多模态大型语言模型中，计数可见外观的任务显著容易，然而恢复物理实体的身份则面临挑战，最强模型在仅13.36%的组中正确回答所有问题。更高的图像分辨率对视觉证据的访问有所改善，但对完整组的准确性提升有限。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、增强现实等场景，能够帮助系统更准确地理解和分析视觉信息，提升人机交互的智能化水平。未来，PhysCount基准可能成为多模态学习和视觉理解领域的重要参考标准。
📄 摘要（原文）
Images reveal appearances, but counting often asks about physical objects. A single entity may be visible directly, in several reflections, or through glass, so detecting every visible occurrence does not determine how many entities are present. Existing visual counting benchmarks rarely separate these two operations. We introduce PhysCount, a benchmark for evaluating whether multimodal large language models (MLLMs) can distinguish what appears in an image from what physically exists in the scene. PhysCount contains 546 real-world images and 4,595 human-written questions organized into 651 target-specific groups. For each group, annotators locate the relevant appearances, label how each is observed, and identify appearances of the same entity. Four complementary question families test the enumeration of appearances, the enumeration of physical entities, image-formation-specific counting, and appearance--entity correspondence. We measure both accuracy on each family and the proportion of groups answered entirely correctly. Across 40 MLLMs, counting visible appearances is substantially easier than recovering the identities that connect them. Even the strongest model answers every question correctly in only 13.36\% of groups. Performance declines when one entity produces many appearances or when its appearances cross observation modes. Higher image resolution improves access to visual evidence but brings limited gains in complete-group accuracy, whereas answering related questions jointly produces a marked improvement. These results expose a gap between recognizing what is visible and correctly recovering the physical entities behind those observations.