ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models
作者: Yihao Wang, Zijian He, Jie Ren, Keze Wang
分类: cs.CV, cs.AI
发布日期: 2026-06-18
备注: 29 pages, 11 figures
💡 一句话要点
提出ROSE基准以解决多模态模型的感知与行动差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 视觉理解 行动决策 基准测试 符号执行 上下文推理
📋 核心要点
- 现有多模态模型在将相同视觉证据转化为上下文特定行动时存在显著性能下降，尤其在不同任务条件下。
- 本文提出ROSE基准，通过固定视觉场景并变化区域约束，评估模型在不同上下文中的推理和行动能力。
- 实验表明，尽管人类表现优异，但模型在区域条件行动任务中的性能下降显著，揭示了模型依赖的瓶颈问题。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在处理视觉信息时，面临在不同任务上下文中需要采取不同行动的挑战。为了解决这一问题，本文提出了ROSE（参考条件奇异性与符号执行），这是一个控制基准，固定视觉场景，同时变化区域约束和所需符号输出。通过耦合计数和坐标行动任务，ROSE测试模型在变化上下文中推断隐含的多数参考并基于细粒度视觉证据采取行动的能力。实验结果显示，在九个近期的MLLMs中，从计数导向任务到区域条件行动的性能下降高达44.5个百分点，而人类表现高达98.8%。这一差距在配对场景和区域中依然存在，表明将共享视觉证据转化为上下文特定行动的过程存在模型依赖性瓶颈。
🔬 方法详解
问题定义：本文旨在解决多模态模型在不同任务上下文中将相同视觉证据转化为所需行动的能力不足，现有方法在这一方面表现不佳。
核心思路：ROSE基准通过固定视觉场景并变化区域约束，测试模型在不同上下文下的推理能力，旨在揭示模型在行动决策中的局限性。
技术框架：ROSE的整体架构包括固定视觉场景的设置、区域约束的变化以及符号输出的要求，主要模块包括耦合计数任务和坐标行动任务。
关键创新：ROSE的创新在于通过控制实验设计，系统地评估模型在不同上下文下的表现，揭示了模型在将视觉证据转化为行动时的特定瓶颈。
关键设计：在实验中，采用了多种区域约束和符号输出设置，使用了精细的计数和坐标行动任务，以确保模型性能的全面评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在九个多模态大型语言模型中，从计数导向任务到区域条件行动的性能下降高达44.5个百分点，而人类在相同任务中的表现高达98.8%。这一显著差距揭示了模型在上下文特定行动中的局限性，强调了ROSE基准的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等多模态交互系统，能够提升这些系统在复杂环境中的决策能力和适应性。未来，ROSE基准有望推动多模态模型的进一步发展，促进更智能的视觉理解与行动执行。
📄 摘要（原文）
Multimodal large language models (MLLMs) are increasingly expected to act on visual information, yet the same scene may require different actions under different task contexts. How reliably can a model turn the same visual evidence into the action required by the current context? To answer this question, we introduce \textsc{ROSE} (\textbf{R}eference-conditioned \textbf{O}ddity and \textbf{S}ymbolic \textbf{E}xecution), a controlled benchmark that holds the visual scene fixed while varying region constraints and required symbolic outputs. Through coupled counting and coordinate-action tasks, \textsc{ROSE} tests whether models can infer an implicit majority reference and act on the resulting fine-grained visual evidence under changing contexts. Across nine recent MLLMs, performance drops by as much as 44.5 percentage points from counting-oriented tasks to region-conditioned action, despite 98.8\% human performance. The gap persists on paired scenes and regions for which the same model returns the correct count, while global-click and matched local controls show that coordinate grounding explains only part of the loss, revealing a distinct, model-dependent bottleneck in turning shared visual evidence into context-specific actions.