Surrogate Uncertainty for Black-box Visual Grounding
作者: Hanbo Zhang, Tianrun Hu, Cedar Site Bai, Anxing Xiao, David Hsu
分类: cs.RO
发布日期: 2026-10-29
备注: A preprint rejected by RSS 2026 AND CoRL 2026
💡 一句话要点
提出外部代理不确定性模型以解决视觉定位不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉定位 不确定性量化 贝叶斯模型 主动视觉 多模态学习
📋 核心要点
- 现有方法主要依赖于黑箱视觉-语言模型（VLM）本身来推导不确定性，导致输出结果的偏差问题。
- 本文提出了一种外部代理贝叶斯模型，通过对持出校准集的局部邻域进行不确定性量化，分解为随机性和认知性成分。
- 在多个基准测试中，该方法在校准和任务性能上均有显著提升，尤其在真实机器人环境下表现出更高的鲁棒性。
📝 摘要（中文）
视觉定位对于机器人理解语言指令与视觉观察至关重要。本文解决了视觉定位中的不确定性问题，机器人使用黑箱视觉-语言模型（VLM）将自由形式的自然语言指令定位到目标对象。现有方法从VLM本身推导不确定性，但VLM的输出（如生成的不确定性）来自相同的参数和结构，继承了偏差。我们给出了该问题的正式贝叶斯定义，将VLM预测视为观察。外部代理贝叶斯模型量化了持出校准集的局部邻域上的每个查询不确定性，分解为随机性和认知性成分。通过跨输入模态的层次检索实现紧凑的联合空间邻域，缓解维度诅咒。该估计器进一步与符合预测或基于模型的规划集成，用于主动视觉定位，使机器人能够采取语言或物理行动来定位目标。在多个定位基准和最先进的VLM上，它在校准和任务性能上均有显著提升。在真实的Fetch机器人上，能够在开放世界指令下实现自信行动与信息收集之间的原则性权衡，显著提高了鲁棒性。
🔬 方法详解
问题定义：本文旨在解决视觉定位中的不确定性问题，现有方法依赖于黑箱VLM推导不确定性，导致输出结果的偏差和不可靠性。
核心思路：通过引入外部代理贝叶斯模型，本文将VLM的预测视为观察，并在局部邻域内量化不确定性，分解为随机性和认知性成分，从而提高定位的准确性和可靠性。
技术框架：整体架构包括VLM的输出作为输入，通过外部代理模型进行不确定性量化，结合层次检索实现紧凑的联合空间邻域，最后与符合预测或基于模型的规划相结合，支持主动视觉定位。
关键创新：最重要的创新在于引入外部代理贝叶斯模型来量化不确定性，避免了VLM输出的偏差，提供了更为可靠的定位结果。
关键设计：在模型设计中，采用了分解不确定性的策略，并通过层次检索优化输入模态，确保了在高维空间中的有效性和鲁棒性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
在多个视觉定位基准测试中，该方法在校准和任务性能上均有显著提升，尤其在真实Fetch机器人实验中，成功实现了自信行动与信息收集之间的有效权衡，提升幅度显著。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能家居等场景，能够帮助机器人更好地理解和执行复杂的语言指令，提高人机交互的自然性和效率。未来，该方法可能在多模态学习和自主决策系统中发挥重要作用。
📄 摘要（原文）
Visual grounding is crucial for robots to understand language instructions with visual observations. This paper addresses the problem of visual grounding uncertainties, where a robot uses a black-box vision-language model (VLM) to ground free-form natural-language instructions to target objects. Prevailing methods derive uncertainty from the VLM itself. Yet, outputs of the VLM, e.g., generated uncertainties, are from the same parameters and structures producing the predictions, and inherit the bias. We give a formal Bayesian definition of the problem that treats the VLM prediction as an observation. An external surrogate Bayesian model then quantifies per-query uncertainty over a local neighborhood of a held-out calibration set, decomposed into aleatoric and epistemic components. A hierarchical retrieval across input modalities realizes a compact joint-space neighborhood, mitigating the curse of dimensionality. The estimator further integrates with conformal prediction or model-based planning for active visual grounding, where robots are allowed to take verbal or physical actions to ground targets. Across grounding benchmarks and state-of-the-art VLMs, it consistently improves both calibration and task performance. On a real Fetch robot under open-world instructions, it enables principled trade-offs between confident action and information gathering, substantially improving robustness.