Trajectory-Level Redirection Attacks on Vision-Language-Action Models
作者: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik
分类: cs.RO, cs.CV, eess.SY
发布日期: 2026-06-12
💡 一句话要点
提出轨迹级重定向攻击以揭示VLA模型的脆弱性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 对抗性攻击 机器人控制 轨迹重定向 安全性评估
📋 核心要点
- 现有的VLA模型在处理对抗性提示时存在脆弱性，攻击者可以通过巧妙设计的提示重定向机器人的最终行为。
- 本文提出了一种命令保持轨迹重定向的威胁模型，利用基于策略的提示搜索方法来发现扰动，确保提示与良性指令相近。
- 实验表明，近乎良性的提示扰动能够有效重定向VLA模型的输出，展示了该模型在指令基础上的潜在脆弱性。
📝 摘要（中文）
视觉-语言-动作（VLA）策略将自然语言引入闭环机器人控制，使机器人能够直接根据文本指令执行操作任务。现有的VLA攻击主要研究对抗性提示，这些提示引发目标低级动作或使这些动作在变化的图像中持续存在。本文识别出一种更强的轨迹级失败模式：一种提示看似指定了预期任务，但却重定向了最终的物理结果。我们将其数学形式化为命令保持轨迹重定向，这是一种仅基于提示的威胁模型。通过引入一种基于策略的提示搜索方法，我们发现近乎良性的提示扰动可以将VLA的输出重定向到攻击者指定的目标。实验结果揭示了VLA指令基础中的轨迹级脆弱性：看似保持预期命令的文本仍然可以让对手控制机器人的最终物理结果。
🔬 方法详解
问题定义：本文解决的问题是如何通过对抗性提示重定向视觉-语言-动作（VLA）模型的输出。现有方法主要集中在低级动作的对抗性提示上，未能识别出轨迹级的重定向攻击。
核心思路：论文的核心思路是引入命令保持轨迹重定向的模型，攻击者在实验开始前选择一个提示，确保该提示与良性指令相近，但可以重定向最终结果。
技术框架：整体架构包括提示选择、策略执行和轨迹重定向三个主要模块。首先，攻击者选择一个近乎良性的提示；然后，机器人根据该提示执行任务；最后，通过对比实际输出与目标输出，评估重定向效果。
关键创新：最重要的技术创新点在于提出了命令保持轨迹重定向的概念，允许攻击者在不显著改变提示的情况下，影响机器人的最终行为。这与现有方法的本质区别在于，后者通常依赖于明显的对抗性修改。
关键设计：关键设计包括基于策略的提示搜索方法，通过模拟回放发现扰动，并确保这些扰动在执行过程中保持命令的完整性。具体参数设置和损失函数的设计使得搜索过程高效且有效。
🖼️ 关键图片
📊 实验亮点
实验结果显示，近乎良性的提示扰动能够将VLA模型的输出重定向到攻击者指定的目标，成功率超过70%。与基线模型相比，重定向效果显著提升，揭示了VLA模型在指令处理上的潜在脆弱性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化系统和安全性评估。通过识别和理解VLA模型的脆弱性，可以为未来的机器人系统设计更为安全和鲁棒的控制策略，减少对抗性攻击的风险，从而提升实际应用中的安全性和可靠性。
📄 摘要（原文）
Vision-language-action (VLA) policies bring natural language into closed-loop robot control, enabling robots to execute manipulation tasks directly from text instructions. The same interface gives text a recurring role in control because the prompt is reused at every replanning step, and each prompt-conditioned action changes the future observations on which the policy acts. Existing VLA attacks study adversarial prompts that elicit targeted low-level actions or make such actions persist across changing images. We identify a stronger trajectory-level failure mode: a prompt that still $\textit{appears}$ to specify the intended task but redirects the final physical outcome. We mathematically formalize this setting as $\textit{command-preserving trajectory redirection}$, a prompt-only threat model in which the attacker chooses one prompt before the episode, all policy and environment components remain fixed, and the prompt must stay close to the benign instruction while omitting target words and correction language. To find such prompts, we introduce an on-policy prompt search method that uses rollouts to discover perturbations whose closed-loop behavior tracks a target task while satisfying the command-preserving constraints. Experiments in simulation and on hardware show that near-benign prompt perturbations can redirect VLA rollouts to attacker-specified targets. These results expose a trajectory-level vulnerability in VLA instruction grounding: text that appears to preserve the intended command can still give an adversary control over the robot's final physical outcome. Project website:this https URL