SSMNBench: Diagnosing Image-based Cross-View Human-Object Understanding via Single-View Sufficiency and Multi-View Necessity

📄 arXiv: 2606.25634v1 📥 PDF

作者: Tianchen Guo, Chen Liu, Ling Chen, Xin Yu

分类: cs.CV

发布日期: 2026-06-24

备注: European Conference on Computer Vision (ECCV). 32 pages, 10 figures. The code is available at: $ \href{https://github.com/gtc-gh/SSMNBench}{\text{SSMNBench}} $

🔗 代码/项目: GITHUB

💡 一句话要点

提出SSMNBench以解决跨视角人机理解的诊断问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨视角理解 多模态学习 视觉干扰 模型评估 人机交互 几何证据 语义融合

📋 核心要点

  1. 现有多视角基准混淆了模型对视觉干扰的鲁棒性与融合跨视角证据的能力，导致评估不准确。
  2. 本文提出SSMNBench，通过分类任务为单视角充分性和多视角必要性，系统性评估MLLMs的表现。
  3. 实验结果表明，现代MLLMs依赖单图像语义平均和视角偏好，而非真正的跨视角合成，揭示了其局限性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在单图像感知方面取得了显著进展，但其在复杂跨视角人本场景中的推理能力仍未得到验证。现有的多视角基准使用固定的“帧包”评估模型，混淆了模型对视觉干扰的鲁棒性与融合碎片化跨视角证据的真实能力。为了解决这一问题，本文提出了SSMNBench，一个包含3300个精心策划的问答对的诊断基准，专注于跨视角人类及人机理解。SSMNBench独特地将任务分类为单视角充分性（SVS）和多视角必要性（MVN）。通过系统性地扰动视角可用性，揭示了现代MLLMs的关键局限性：在冗余视角下，模型遭受严重的“干扰降级”，并且未能整合来自不同相机的碎片几何证据。通过揭示这些基本脆弱性，SSMNBench为未来跨视角感知的多模态架构的进步提供了严格的诊断框架。

🔬 方法详解

问题定义：本文旨在解决现有多视角基准在评估模型能力时的不足，特别是混淆了视觉干扰的鲁棒性与跨视角证据融合的真实能力。

核心思路：SSMNBench通过将任务分为单视角充分性（SVS）和多视角必要性（MVN），系统性地评估模型在不同视角条件下的表现，从而揭示其潜在的局限性。

技术框架：整体架构包括任务分类、视角扰动和模型评估三个主要模块。首先，任务被分类为SVS和MVN；其次，通过扰动视角可用性来测试模型的表现；最后，评估模型在不同条件下的能力。

关键创新：SSMNBench的主要创新在于其系统性地揭示了现代MLLMs在处理跨视角信息时的脆弱性，特别是在冗余视角和几何证据整合方面的不足。

关键设计：在实验中，使用了3300个问答对，并对17种最先进的MLLMs进行了评估，采用了特定的损失函数和参数设置，以确保评估的准确性和有效性。实验设计强调了视角的可用性对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现代MLLMs在冗余视角下表现出严重的“干扰降级”，并未能有效整合来自不同相机的几何证据。通过SSMNBench的评估，揭示了这些模型依赖于单图像语义平均而非真正的跨视角合成，推动了对未来多模态架构的深入理解。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等需要理解复杂人机交互场景的技术。通过提升模型在跨视角理解方面的能力，SSMNBench能够推动多模态架构的发展，进而提升相关应用的智能化水平和用户体验。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have shown remarkable progress in single-image perception, yet their ability to reason about complex cross-view human-centric scenes remains largely unverified. Current multi-view benchmarks evaluate models using a fixed "bag of frames" and thus conflate a model's robustness to visual distraction with its genuine ability to fuse fragmented cross-view evidence. To address this issue, we introduce SSMNBench, a diagnostic benchmark comprising 3,300 curated QA pairs for cross-view human and human-object understanding. SSMNBench uniquely categorizes tasks into Single-View Sufficiency (SVS) and Multi-View Necessity (MVN). By systematically perturbing view availability across 17 state-of-the-art MLLMs, critical limitations are revealed: models suffer from severe "distraction degradation" when presented with redundant views (SVS), and fail to integrate fragmented geometric evidence across cameras (MVN). Our evaluations demonstrate that modern MLLMs rely on multiple single-image semantic averaging and view preference rather than genuine cross-view synthesis. By exposing these fundamental vulnerabilities, SSMNBench provides a rigorous diagnostic framework to drive the advancement of future cross-view-aware multimodal architectures. The code is available at: $ \href{https://github.com/gtc-gh/SSMNBench}{\text{SSMNBench}} $