Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models

📄 arXiv: 2608.02497v1 📥 PDF

作者: Zhaokai Yin, Zhipeng Zhang

分类: cs.RO

发布日期: 2026-08-03

备注: 23 pages, 8 figures

💡 一句话要点

提出GSR方法以解决视觉-语言-动作模型的指令泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 指令泛化 语义重绑定 机器人操作 模型鲁棒性 特征提取 结构设计

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理指令改述时表现出明显的性能下降，主要原因在于架构设计的缺陷。
  2. 论文提出的GSR方法通过独立提取任务语义与视觉特征，避免了不稳定的联合编码，从而提高了模型的鲁棒性。
  3. 在LIBERO-Para基准测试中，GSR方法成功率提高了44.6%，并使得轻量级模型的性能接近大规模基线，推动了最新模型的性能达到70.4的PRIDE分数。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中表现出色，但在指令简单改述时性能急剧下降。我们的研究表明，这种脆弱性源于架构设计，而非语义理解的缺失。我们提出了“基于语义重绑定”（GSR）的方法，通过独立提取任务语义与视觉特征，训练全新的动作专家，从而显著提高模型在指令改述下的鲁棒性。在LIBERO-Para基准测试中，GSR的成功率提高了44.6%。此外，我们还提出了ParaVLA模型，展现出近乎完美的指令重述鲁棒性，证明了通过优雅的结构设计可以实现稳健的语义基础。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言-动作模型在指令改述时的性能下降问题。现有方法的痛点在于动态视觉观察与文本的联合编码导致特征系统性偏移，影响了下游动作策略的有效性。

核心思路：论文的核心解决思路是通过“基于语义重绑定”（GSR）方法，明确地将独立提取的任务语义与视觉特征融合，从而训练全新的动作专家，避免不稳定的联合路由。

技术框架：整体架构包括独立的任务语义提取模块和视觉特征提取模块，二者通过明确的融合机制连接，形成新的动作策略生成流程。

关键创新：最重要的技术创新点在于通过结构设计实现稳健的语义基础，而非依赖于数据扩展。这一方法有效地解决了现有模型的脆弱性。

关键设计：在模型设计中，采用了特定的损失函数以优化语义与视觉特征的融合效果，同时调整了网络结构以支持独立特征提取，确保了模型的高效性与鲁棒性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GSR方法在LIBERO-Para基准测试中成功率提高了44.6%，使得轻量级模型的性能接近大规模基线，并推动了最新模型的PRIDE分数达到70.4，超越了最近推出的大规模预训练模型Xiaomi-Robotics-0。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化操作系统以及人机交互等。通过提高模型在指令改述下的鲁棒性，能够使机器人在复杂环境中更好地理解和执行任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models excel in robotic manipulation but suffer catastrophic performance drops when canonical instructions are simply paraphrased. Although this brittleness is typically addressed through costly data scaling, our probing reveals that the root cause is architectural rather than a lack of semantic understanding. Specifically, we demonstrate that current VLAs successfully retain the correct task identity internally. The failure actually stems from the joint encoding of dynamic visual observations and text, which introduces systematic feature shifts. Because the downstream action policy is highly vulnerable to these variations, it fails to translate the preserved semantics into correct control commands. To resolve this structural bottleneck, we propose Grounded Semantic Re-binding (GSR), an elegant intervention that bypasses unstable joint routing by explicitly fusing independently extracted task semantics with native visual features to train a completely re-initialized action expert from scratch. This targeted intervention dramatically restores paraphrastic invariance using only canonical demonstrations. On the LIBERO-Para benchmark, GSR improves success rates by up to 44.6 percent. It enables lightweight models to rival massively scaled baselines and pushes state-of-the-art models to a new record PRIDE score of 70.4, outperforming the recently introduced large-scale pretrained model Xiaomi-Robotics-0 in instruction generation capabilities. Building on these insights, we also introduce ParaVLA, a natively decoupled 0.33B-parameter model exhibiting near-perfect robustness to instruction rewording. Ultimately, our work proves that robust semantic grounding can be achieved through elegant structural design, bypassing the inefficient brute-force data scaling paradigm.