Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration

📄 arXiv: 2603.06001 📥 PDF

作者: Ninghao Zhang, Bin Zhu, Shijie Zhou, Jingjing Chen

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出无训练注意力重校准方法以解决VLA模型的语言盲目问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 语言盲目 注意力重校准 机器人操作 分布外指令 无训练机制 智能机器人

📋 核心要点

  1. 现有VLA模型在面对分布外指令时，容易出现语言盲目现象，导致执行与指令矛盾的动作。
  2. 本文提出了一种无训练的注意力重校准机制IGAR，旨在恢复语言指令在动作生成中的影响力。
  3. 实验结果表明，IGAR在30个LIBERO任务中显著减少了错误执行，并在真实机器人上验证了其有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型使机器人能够直接根据自然语言指令执行操作任务，但在面对分布外（OOD）指令时的可靠性尚未得到充分探讨。本文揭示了VLA策略在语言指令与场景矛盾时仍执行视觉上合理的动作的关键失效模式，称之为语言盲目现象。为系统分析这一问题，本文引入了ICBench基准，评估三种代表性VLA架构的表现，并提出了一种无训练的指令引导注意力重校准机制（IGAR），有效减少了在OOD矛盾指令下的错误执行，同时保持了基线任务性能。

🔬 方法详解

问题定义：本文解决VLA模型在面对分布外指令时的语言盲目问题，即模型在语言指令与视觉场景矛盾时仍执行视觉上合理的动作。现有方法未能有效处理此类矛盾，导致执行错误。

核心思路：提出的IGAR机制通过在推理阶段重校准注意力分布，增强语言指令的影响力，而无需对模型进行重新训练或架构修改。

技术框架：IGAR的整体架构包括输入语言指令和视觉信息，通过注意力重校准模块调整注意力分布，最终生成动作决策。该框架可直接应用于现有的VLA模型。

关键创新：IGAR的主要创新在于其无训练特性，能够在推理时动态调整注意力分布，从而有效应对OOD指令的矛盾问题，与传统方法相比，避免了繁琐的训练过程。

关键设计：IGAR的设计中，注意力重校准模块是核心，具体参数设置和损失函数设计需确保在不影响基线性能的情况下，最大化语言指令的影响力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IGAR在30个LIBERO任务中显著减少了在OOD矛盾指令下的错误执行，错误率降低幅度达到XX%（具体数据待补充），同时保持了基线任务的性能，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化操作和人机交互等。通过提升VLA模型在复杂环境中的可靠性，能够更好地支持机器人在真实世界中的自主操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models enable robots to perform manipulation tasks directly from natural language instructions and are increasingly viewed as a foundation for generalist robotic policies. However, their reliability under Out-of-Distribution (OOD) instructions remains underexplored. In this paper, we reveal a critical failure mode in which VLA policies continue executing visually plausible actions even when the language instruction contradicts the scene. We refer to this phenomenon as linguistic blindness, where VLA policies prioritize visual priors over instruction semantics during action generation. To systematically analyze this issue, we introduce ICBench, a diagnostic benchmark constructed from the LIBERO dataset that probes language-action coupling by injecting controlled OOD instruction contradictions while keeping the visual environment unchanged. Evaluations on three representative VLA architectures, including Pi0, Pi0.5 and OpenVLA OFT, show that these models frequently succeed at tasks despite logically impossible instructions, revealing a strong visual bias in action generation. To mitigate this issue, we propose Instruction-Guided Attention Recalibration (IGAR), a train-free inference-time mechanism that rebalances attention distributions to restore the influence of language instructions. IGAR operates without retraining or architectural modification and can be directly applied to existing VLA models. Experiments across 30 LIBERO tasks demonstrate that IGAR substantially reduces erroneous execution under OOD contradictory instructions while preserving baseline task performance. We additionally validate the approach on a real Franka robotic arm, where IGAR effectively prevents manipulation triggered by inconsistent instructions.