Visual Grounding in Zero-Shot Vision-Language Control
作者: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出视觉语言模型以解决零样本控制中的决策基础问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 零样本控制 决策基础 输入消融实验 自动驾驶 人机交互 模型评估
📋 核心要点
- 现有的视觉语言模型在零样本控制中存在决策未能有效基于视觉输入的问题，导致模型表现不佳。
- 本文通过输入消融实验，探讨了不同模型在视觉输入下的决策能力，提出了新的评估方法。
- 实验结果显示，尽管一些模型在特定任务上表现良好，但整体上仍未能满足复杂场景下的决策需求。
📝 摘要（中文）
视觉语言模型（VLMs）在零样本控制中越来越多地被使用，但成功的轨迹并不一定表明决策是基于视觉输入的。本文通过输入消融实验，分析了多个模型在不同条件下的表现，发现许多模型在视觉输入下的决策能力有限。尽管一些模型在特定情况下表现良好，但整体结果显示现有VLMs在处理复杂的视觉信息时仍存在显著不足。研究表明，当前的VLMs更适合作为选择性危险助手，而非单一的零样本控制器。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在零样本控制中决策未能有效基于视觉输入的问题。现有方法在模拟器动态和保守的动作先验下，可能产生良好的评分，但缺乏有效的视觉感知。
核心思路：通过输入消融实验，分析不同模型在视觉输入下的表现，探讨模型的局限性和潜在改进方向。设计了多种实验条件，以评估模型在复杂场景下的决策能力。
技术框架：研究采用了输入消融电池，包括盲图像控制、重复相同输入、车道轴反射等多种实验设置。分析了32,874个评分调用，涵盖了九个直接控制模型和六个结构化局部VLMs。
关键创新：最重要的创新在于提出了一种新的评估方法，通过后验的对称共识守护者选择模型，并在不同视图下进行投票，显著提高了模型的准确性。
关键设计：在实验中，采用了0.090米的均方误差（MAE）来评估模型的表现，并通过离线模块重放实现了0.934的动作一致性，确保了镜像等变性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过后验对称共识守护者选择的模型在272个保留帧上达到了0.954的平衡准确率，显著高于基线模型。同时，离线模块重放实现了0.934的动作一致性，表明该方法在视觉输入下的决策能力有显著提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和人机交互等场景。在这些领域中，能够有效地将视觉信息与决策过程结合起来，将极大提升系统的智能化水平和安全性。未来，随着技术的进步，可能会推动更复杂的视觉语言模型的开发与应用。
📄 摘要（原文）
Vision-language models (VLMs) are increasingly used as zero-shot controllers, but successful trajectories do not necessarily show that decisions are grounded in visual input: simulator dynamics and conservative action priors can produce favourable scores without meaningful perception. We investigate this with an input-ablation battery: blind-image controls, repeated identical inputs, lane-axis reflection, non-visual baselines, and pipeline-integrity checks. Across nine direct-action models, six structured local VLMs, and an exploratory VLM-MPC hierarchy, we analyse 32,874 scored calls over two embodiments and three simulators. The direct-control results are largely negative: a constant-SLOW policy outperforms a scripted geometric controller, several models are image-invariant or nearly constant, and models that recognize longitudinal hazards still fail to transform LEFT and RIGHT under reflection. No local VLM meets the joint longitudinal and lateral grounding criteria. However, an image-only deterministic positive control estimates the lead gap with 0.090 m MAE and exact mirror equivariance, confirming the stimuli carry sufficient visual information; the failures are modular, not universal. A post-hoc, leakage-controlled symmetry-consensus guardian selects two models from 16 calibration frames and freezes a 2-of-4 hazard vote across original and reflected views. On 272 held-out frames it reaches 0.954 balanced accuracy (episode-cluster bootstrap 95% CI [0.895,0.990]); nested leave-one-episode-out recovers the same pair and threshold in all 12 folds. Abstaining on ties raises committed balanced accuracy to 0.973 at 0.824 coverage. With deterministic perception retaining lateral authority, offline modular replay achieves 0.934 action agreement and exact mirror equivariance. These results support current VLMs as bounded, selective hazard assistants, not monolithic zero-shot controllers.