Uncovering and Mitigating Positional Blind Spots in Vision-Language-Action Models

📄 arXiv: 2608.01573v1 📥 PDF

作者: Dongdong An, Pengjie Zhao, Yihao Huang, Wenbing Tang, Ziming He, Jiayi Zhu, Jifeng Ning, Qin Zhao

分类: cs.RO

发布日期: 2026-08-03

💡 一句话要点

提出黑箱框架以解决视觉-语言-动作模型中的位置盲点问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 位置盲点 策略微调 机器人操作 黑箱框架

📋 核心要点

  1. 现有的VLA模型在评估时假设工作空间能力均匀分布，但实际上存在位置盲点，导致局部区域的失败概率显著增加。
  2. 论文提出的两阶段黑箱框架通过网格化工作空间和对PBS区域进行微调，旨在发现并缓解这些位置盲点。
  3. 实验结果显示，PBS在所有五个VLA策略中普遍存在，且通过目标微调，整体失败率显著降低，平均F1-score达到0.678。

📝 摘要（中文）

近年来，视觉-语言-动作（VLA）模型在机器人操作中表现出色，但其评估方法假设工作空间内的能力均匀分布，这一假设并不成立。本文提出了一种两阶段黑箱框架来发现和缓解位置盲点（PBS）。在发现阶段，通过网格化工作空间并应用单侧对数似然比检验来定位PBS区域。在缓解阶段，通过在PBS区域收集的演示数据对策略进行微调，显著提高了这些区域的能力，同时保持了其他区域的性能。实验表明，PBS在所有评估的VLA策略中普遍存在，失败率高达0.58，微调后整体失败率降低了40.00%至85.19%。

🔬 方法详解

问题定义：本文解决的是视觉-语言-动作模型中的位置盲点（PBS）问题，现有方法在评估时假设能力均匀分布，导致在特定区域的失败概率被低估。

核心思路：通过两阶段的黑箱框架，首先发现PBS区域，然后在这些区域进行策略微调，以提高局部能力并保持整体性能。

技术框架：框架分为两个主要阶段：第一阶段是发现PBS，通过网格化工作空间并应用单侧对数似然比检验来定位高风险区域；第二阶段是缓解PBS，通过在发现的PBS区域收集演示数据并进行策略微调。

关键创新：最重要的创新在于提出了PBS的概念，并通过系统的发现和缓解策略，显著提高了VLA模型在特定区域的操作能力。与现有方法相比，本文方法更具针对性和有效性。

关键设计：在发现阶段，使用单侧对数似然比检验来定位PBS区域；在微调阶段，采用LoRA技术对策略进行细致调整，确保在PBS区域的能力提升，同时保持其他区域的性能稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PBS在所有五个VLA策略中普遍存在，失败率高达0.58。通过目标微调，整体失败率降低了40.00%至85.19%，而搜索策略的平均F1-score达到0.678，超越随机搜索和自适应采样基线，分别提升0.268和0.178。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过识别和缓解位置盲点，能够显著提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent Vision-Language-Action (VLA) models achieve promising performance in robotic manipulation, typically measured by success rates aggregated over predefined object configurations, an evaluation that implicitly assumes spatially uniform competence across the workspace. However, this assumption does not hold: even with the instruction and every other scene factor held fixed, merely relocating a task-irrelevant distractor can sharply raise the failure probability within localized, spatially coherent regions, which we term Positional Blind Spots (PBS). In this paper, we propose a two-stage black-box framework to uncover and mitigate PBS. During the uncovering stage, we grid the workspace and apply a one-sided log-likelihood-ratio test to localize PBS cells with significantly elevated risk. During the mitigation stage, we fine-tune the policy via LoRA on demonstrations collected from these PBS regions, improving competence there while largely preserving performance across the rest of the workspace. We evaluate our framework on five state-of-the-art VLA policies across two benchmarks, and find that PBS are pervasive and spatially concentrated in all of them, with failure rates up to 0.58. Our search strategy achieves an average F1-score of 0.678, outperforming random search and adaptive sampling baselines by 0.268 and 0.178, respectively. Guided by the discovered regions, targeted fine-tuning reduces the overall failure rate by 40.00%--85.19%.