Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

📄 arXiv: 2606.12299v1 📥 PDF

作者: Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy

分类: cs.RO, cs.LG

发布日期: 2026-06-10

备注: 22 pages, 14 tables, 14 figures

💡 一句话要点

提出交互式语言序列搜索框架以提升VLA任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人控制 自然语言处理 任务性能提升 语言反馈策略 安全性保证 交互式搜索 闭环控制

📋 核心要点

  1. 现有的VLA模型在处理人类指令时表现出脆弱性，语义相似的指令可能导致不同的行为，影响任务执行的可靠性。
  2. 本文提出了一种交互式框架，通过搜索语言序列来提升VLA的任务性能，并引入语言反馈策略（LFP）来优化指令的效果。
  3. 实验结果表明，经过调整的LFP在模拟和硬件环境中分别提升了24.7%和65.0%的任务性能，且在视觉和语义扰动下表现出强大的安全性保证。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为机器人控制提供了自然语言接口，但语言与行为之间的映射常常脆弱且不直观。语义相似的指令可能导致截然不同的行为，而某些能力可能无法仅通过提示来引导。为此，本文提出了一种框架，通过交互式搜索语言序列来改善闭环VLA任务性能，并将这些序列提炼为测试时语言反馈策略（LFP）。该方法在不需要访问原始训练分布或微调模型的情况下，适用于任意冻结的预训练VLA。在已见环境中，经过调整的LFP在模拟中提升了24.7%的基础VLA性能，在硬件中提升了65.0%。

🔬 方法详解

问题定义：本文旨在解决VLA模型在任务执行中对人类指令的脆弱性，现有方法在处理语义相似指令时表现不佳，导致任务执行不稳定。

核心思路：提出一种交互式搜索语言序列的方法，通过优化语言指令来提升VLA的任务性能，并引入语言反馈策略（LFP）以增强指令的有效性。

技术框架：整体架构包括三个主要模块：语言序列搜索模块、语言反馈策略（LFP）模块和性能改进头模块。首先，通过交互式搜索找到有效的语言序列；然后，提炼这些序列形成LFP；最后，利用改进头预测何时使用LFP能提升性能。

关键创新：最重要的创新在于提出了LFP和改进头的结合，能够在不需要原始训练数据或微调模型的情况下，显著提升VLA的任务性能。

关键设计：在设计中，LFP的构建采用了符合性调整，以防止在分布外场景中出现有害的干预，确保在各种情况下都能保持任务性能的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过调整的LFP在已见环境中，基础VLA性能在模拟中提升了24.7%，在硬件中提升了65.0%。此外，在视觉和语义扰动下，LFP展现出强大的安全性，能够产生未通过开放式提示观察到的恢复行为。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、智能家居等，能够为这些领域的机器人提供更可靠的自然语言控制接口。通过提升VLA的任务执行能力，未来可能推动人机交互的进一步发展，提升用户体验和操作效率。

📄 摘要（原文）

Vision-Language-Action (VLA) models provide a natural language interface to robot control, but the mapping from language to behavior is often brittle and unintuitive: semantically similar instructions can induce drastically different behaviors, while some capabilities may not be elicitable through prompting alone. As a result, both human instructions and zero-shot language models can fail to reliably steer VLAs toward successful task execution. In this work, we propose a framework that interactively searches for language sequences that improve closed-loop VLA task performance, distills these sequences into a test-time language feedback policy (LFP), and learns an improvement head that predicts when language steering will improve performance. We conformalize this improvement head to prevent harmful steering interventions, where the LFP decreases task performance relative to the original instruction on out-of-distribution scenarios. Crucially, our approach operates on arbitrary frozen pre-trained VLAs, requiring neither access to the original training distribution nor fine-tuning of the underlying model. On seen environments, our conformalized LFP improves base VLA performance by 24.7% in simulation and 65.0% in hardware. On visual and semantic perturbations, our conformalized LFP has strong harmlessness guarantees, and produces recovery behaviors not observed with open-loop prompting.