Visual Enumeration Remains Challenging for Multimodal Generative AI
作者: Alberto Testolin, Kuinan Hou, Marco Zorzi
分类: cs.CV, cs.AI, cs.NE
发布日期: 2024-01-09 (更新: 2025-07-28)
💡 一句话要点
提出基准任务评估多模态生成AI的视觉计数能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉计数 多模态生成 认知科学 基准任务 AI评估
📋 核心要点
- 现有的多模态生成AI在视觉计数能力上表现不佳，尤其在简单视觉刺激中无法准确命名物体数量。
- 论文提出了两个基于认知科学的基准任务，以系统评估多模态基础模型的视觉计数能力，提供客观的计数水平衡量。
- 实验结果显示，当前最先进的模型在计数任务中的准确性较低，尤其在小数字和超出瞬时计数范围的情况下，错误分布与物体类别相关。
📝 摘要（中文）
许多动物能够在一瞥之间大致判断视觉场景中的物体数量，而人类则通过系统的计数程序确定集合的确切基数。相比之下，现有的AI系统在计数能力上表现有限。本文提出了两个基于认知科学的基准任务，以精确评估多模态基础模型的视觉计数能力，从而为其数字感知和计数水平提供客观衡量。我们分析了多种流行的视觉问答模型和图像生成AI系统，结果显示，即使是最先进的模型在简单视觉刺激中也无法可靠地命名物体数量，尤其是在超出瞬时计数范围的情况下，错误分布与物体类别相关。我们的研究表明，AI模型在直观理解数字方面仍面临挑战，单纯增加模型规模可能无法有效提升系统的计数能力。
🔬 方法详解
问题定义：本文旨在解决现有多模态生成AI在视觉计数能力上的不足，尤其是在简单视觉刺激中无法准确识别物体数量的问题。现有方法在计数任务中表现不佳，缺乏有效的评估标准。
核心思路：论文通过设计两个基于认知科学的基准任务，提供了一种系统化的评估方式，以衡量多模态基础模型的视觉计数能力，从而揭示其数字感知的局限性。
技术框架：整体架构包括任务设计、模型选择与评估三个主要模块。首先，设计基准任务以测试模型的计数能力；其次，选择多种流行的视觉问答和图像生成模型进行评估；最后，通过对比分析结果，评估模型在计数任务中的表现。
关键创新：最重要的创新点在于提出了基于认知科学的任务设计，使得对多模态生成AI的计数能力评估更加客观和系统，与传统方法相比，能够更好地揭示模型的局限性。
关键设计：在任务设计中，设置了不同的计数范围和物体类别，以便全面评估模型的表现；同时，采用了多种流行模型进行对比，确保评估的广泛性和代表性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最先进的多模态生成模型在计数任务中的准确率普遍较低，尤其在超出瞬时计数范围的情况下，错误分布与物体类别相关，表明AI在数字理解方面的显著不足。具体而言，某些模型在小数字的计数任务中也出现了明显错误，进一步验证了研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括智能视觉系统、机器人视觉、自动驾驶等，需要准确理解和处理视觉信息的场景。通过提升AI的视觉计数能力，可以增强其在复杂环境中的决策能力，推动智能系统的进一步发展。
📄 摘要（原文）
Many animal species can approximately judge the number of objects in a visual scene at a single glance, and humans can further determine the exact cardinality of a set by deploying systematic counting procedures. In contrast, it has been observed that even state-of-the-art AI systems have very limited enumeration skills. In this work, we propose two benchmark tasks inspired by cognitive science that allow to precisely evaluate the visual enumeration capabilities of multimodal foundation models, thereby providing an objective measure of their number sense and counting level. We consider popular visual question answering models (BLIP, LLaVA and ViLT) as well as advanced image-to-text (Gemini, GPT and Qwen) and text-to-image (DALL-E, FLUX and Stable Diffusion) AI systems. Our analyses show that even the most advanced models cannot reliably name the number of objects in simple visual stimuli or generate images containing a target number of items, as indexed by their low accuracy in both types of tasks. Especially for numbers outside the subitizing range, their responses are often far from the target numerosity, and, in stark contrast with human behavior, in many cases the distribution of errors depends on the object category. We also observe some striking mistakes with small numbers. Our findings demonstrate that developing an intuitive visual understanding of number remains challenging for AI models and that merely increasing model size might not be a viable strategy to promote the emergence of systematic counting skills. We release the full code of our benchmark to facilitate the evaluation of enumeration skills in future AI systems.