TriViewBench: Controlled Complexity Scaling for Multi-View Structural Reasoning in MLLMs
作者: Yu-Yang Chen, Lan-Zhe Guo
分类: cs.CV, cs.AI
发布日期: 2026-06-24
备注: 26 pages, 8 figures
💡 一句话要点
提出TriViewBench以解决多视角结构推理的可扩展性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉问答 结构推理 合成3D场景 性能评估 复杂性分析 TriViewBench 错误模式分析
📋 核心要点
- 现有的多模态大语言模型在处理视觉问答时的可扩展性和复杂性理解不足，导致性能下降。
- 论文提出TriViewBench基准，通过合成3D场景控制对象数量和遮挡，系统评估多视角推理能力。
- 实验结果显示，所有模型在不同推理任务中的表现一致，复杂性增加导致性能显著下降，尤其在对象计数和全局恢复任务中。
📝 摘要（中文）
多模态大语言模型（MLLMs）在标准视觉问答基准上表现出色，但在受控结构复杂性下的可扩展性仍不清楚。本文提出了TriViewBench，这是一个基于合成3D场景构建的受控三视角视觉推理基准，包含1923个场景和超过14K个问答对，分为四个复杂性级别和三个推理类别。对18个MLLMs的评估显示，所有模型在能力层级上表现一致，且性能随着复杂性单调下降，揭示了当前MLLMs的基本可扩展性限制。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在受控结构复杂性下的可扩展性问题。现有方法在处理复杂视觉推理任务时表现不佳，尤其在对象计数和全局恢复方面。
核心思路：论文通过构建TriViewBench基准，利用合成3D场景的参数化设计，系统地评估和分析多视角推理能力，揭示模型在不同复杂性下的表现差异。
技术框架：TriViewBench包含1923个场景和超过14K个问答对，分为四个复杂性级别和三个推理类别。评估过程中，采用统一的提示协议对18个开源和闭源的MLLMs进行测试。
关键创新：TriViewBench作为一个受控的诊断框架，能够明确识别当前MLLMs在结构推理中的局限性，特别是在多视角空间表示方面的瓶颈。
关键设计：基准设计中，明确参数化对象数量和遮挡情况，确保不同复杂性级别的任务能够有效评估模型的推理能力。实验中还分析了对象计数的错误模式，揭示了单视图和多视图任务的独立失效机制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有18个模型在能力层级上表现一致，且随着任务复杂性的增加，性能显著下降。具体而言，局部决策任务的相对下降为12.11%，对象计数任务下降59.14%，全局恢复任务则严重崩溃，下降达80.02%。
🎯 应用场景
TriViewBench的研究成果可广泛应用于多模态学习、计算机视觉和人工智能领域，尤其是在视觉问答、机器人视觉和自动驾驶等场景中。通过深入理解模型在复杂推理任务中的表现，可以为未来的模型设计和优化提供重要参考，推动智能系统的进一步发展。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) demonstrate strong performance on standard visual question answering benchmarks, yet their scalability under controlled structural complexity remains poorly understood. We introduce TriViewBench, a controlled three-view visual reasoning benchmark constructed from synthetic 3D scenes with explicitly parameterized object count and occlusion. The benchmark contains 1,923 scenes and over 14K Question-Answer (QA) pairs organized into four complexity levels and three reasoning categories: Local Decision, Object Counting, and Global Recovery. We evaluate 18 open- and closed-source MLLMs under a unified prompting protocol. All 18 models exhibit an identical capability hierarchy without exception (Local Decision > Object Counting > Global Recovery), and performance degrades monotonically with complexity: Local Decision tasks decline modestly (12.11% relative drop), while Object Counting degrades substantially (59.14%) and Global Recovery collapses severely (80.02%). Error analysis on Object Counting reveals two mechanistically independent failure modes: single-view tasks are dominated by undercounting due to occlusion blindness, whereas the multi-view task reverses to overcounting due to cross-view identity confusion. Chain-of-Thought (CoT) prompting yields near-zero overall benefit ($Δ= -0.16\%$) and its effect on Global Recovery is strongly capability-gated, suggesting that the bottleneck lies in cross-view spatial representation rather than reasoning strategy. These findings reveal fundamental scalability limitations in current MLLMs and position TriViewBench as a controlled diagnostic framework for analyzing structural reasoning failures.