DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues

📄 arXiv: 2606.26602v1 📥 PDF

作者: Geng Li, Yuxin Peng

分类: cs.CV

发布日期: 2026-06-25

备注: Accepted by ECCV 2026. Project page with code: https://github.com/PKU-ICST-MIPL/DICO_Bench_ECCV2026

💡 一句话要点

提出DiCoBench以解决多图像细粒度感知评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多图像感知 细粒度识别 高分辨率评估 视觉线索 基准测试

📋 核心要点

  1. 现有基准测试主要依赖显式文本线索或低分辨率输入，无法有效评估模型在高分辨率下的隐式视觉线索感知能力。
  2. 本文提出DiCoBench，一个多图像高分辨率基准，设计用于跨图像细粒度感知，包含765个样本和8个感知任务。
  3. 对18种MLLMs的评估显示，顶尖模型在微观细节捕捉上存在显著性能差距，未能达到人类的高准确率。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）在细粒度感知能力上取得了显著进展。然而，现有基准测试主要依赖于显式文本线索或低分辨率输入，未能有效评估模型在高分辨率下自主感知隐式视觉线索的能力。为此，本文提出了DiCoBench，这是一个全面的多图像高分辨率基准，旨在进行跨图像细粒度感知。DiCoBench包含765个精心策划的样本，分为差异视觉线索和共性视觉线索两个进阶轨道，涵盖8个不同的感知任务。通过将基准测试形式化为多项选择题，并利用接近2K的高分辨率图像，我们消除了评估指标偏差，并对当前最先进的MLLMs提出了重大挑战。对18种不同MLLMs的广泛评估显示，与人类准确率（98.3%）相比，顶尖模型在微观细节捕捉上表现显著不足。我们相信DiCoBench将成为推动未来自主高分辨率多图像感知研究的挑战性测试平台。

🔬 方法详解

问题定义：本文旨在解决现有基准测试在高分辨率图像中评估模型隐式视觉线索感知能力的不足，现有方法无法有效捕捉微观细节。

核心思路：提出DiCoBench基准，通过多项选择题的形式和高分辨率图像，消除评估偏差，挑战当前最先进的MLLMs。

技术框架：DiCoBench包含765个样本，分为差异视觉线索和共性视觉线索两个轨道，涵盖8个感知任务，整体流程包括样本选择、任务设计和模型评估。

关键创新：DiCoBench的创新在于其高分辨率图像的使用和多项选择题的设计，使得评估更加全面和严谨，与现有方法相比，能够更好地评估细粒度感知能力。

关键设计：在样本设计上，DiCoBench确保了样本的多样性和代表性，采用接近2K的高分辨率图像，评估指标设计上避免了传统方法的偏差，确保了评估的公正性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，18种不同的MLLMs在细粒度感知任务中的表现与人类准确率（98.3%）相比存在显著差距，尤其在微观细节捕捉方面，顶尖模型的表现明显不足。这一发现强调了DiCoBench作为评估平台的重要性。

🎯 应用场景

DiCoBench的研究成果具有广泛的应用潜力，尤其在自动驾驶、医疗影像分析和智能监控等领域。通过提升模型在高分辨率图像中的细粒度感知能力，未来可推动这些领域的技术进步和应用落地，提升自动化水平和决策准确性。

📄 摘要（原文）

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated impressive fine-grained perception capabilities. However, existing benchmarks predominantly rely on explicit textual cues or low-resolution inputs, failing to evaluate a model's ability to autonomously perceive implicit visual cues in high-resolution. To bridge this gap, we introduce DiCoBench, a comprehensive, multi-image high-resolution benchmark designed for cross-image fine-grained perception. DiCoBench consists of 765 meticulously curated samples categorized into two progressive tracks: Differential Visual Cues and Commonality Visual Cues, covering 8 distinct perception tasks. By formulating the benchmark as a multiple-choice question task and utilizing high-resolution imagery (approaching 2K), we eliminate evaluation metric bias and pose a substantial challenge to current state-of-the-art MLLMs. Our extensive evaluation of 18 diverse MLLMs reveals a striking performance gap compared to human accuracy (98.3\%), with top-performing models struggling significantly with micro-scale detail capture. We believe DiCoBench will serve as a challenging testbed to drive future research in autonomous, high-resolution multi-image perception.