Trajectory-Level Redirection Attacks on Vision-Language-Action Models
作者: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik
分类: cs.RO, cs.CV, eess.SY
发布日期: 2026-06-11
💡 一句话要点
提出轨迹级重定向攻击以揭示VLA模型的脆弱性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 对抗性攻击 轨迹重定向 机器人控制 自然语言处理
📋 核心要点
- 现有的VLA攻击主要集中在低级动作的对抗性提示上，未能有效识别轨迹级的重定向风险。
- 本文提出了一种新的攻击模型，称为命令保持轨迹重定向，利用提示搜索方法发现有效的扰动。
- 实验结果表明，近良性的提示扰动能够成功重定向VLA模型的输出，显示出其潜在的安全隐患。
📝 摘要（中文）
视觉-语言-动作（VLA）策略将自然语言引入闭环机器人控制，使机器人能够直接根据文本指令执行操作任务。现有的VLA攻击主要研究对抗性提示，这些提示引发特定的低级动作或使这些动作在变化的图像中持续存在。本文识别出一种更强的轨迹级失败模式：一个看似指定预期任务的提示却重定向了最终的物理结果。我们将这一设置数学化为“命令保持轨迹重定向”，提出了一种基于策略的提示搜索方法，通过回放发现满足命令保持约束的扰动。实验表明，近乎良性的提示扰动可以将VLA回放重定向到攻击者指定的目标，揭示了VLA指令基础中的轨迹级脆弱性。
🔬 方法详解
问题定义：本文旨在解决VLA模型在指令执行中的轨迹级重定向攻击问题。现有方法主要关注低级动作的对抗性提示，未能识别出提示看似良好但实则重定向结果的风险。
核心思路：论文提出了一种命令保持轨迹重定向的攻击模型，攻击者在每个回合开始前选择一个提示，保持与良性指令的相似性，同时省略目标词和修正语言。通过这种方式，攻击者能够在不引起注意的情况下操控最终结果。
技术框架：整体架构包括提示搜索模块和回放模块。提示搜索模块负责生成和评估扰动，回放模块则用于模拟和验证这些扰动在闭环控制中的表现。
关键创新：最重要的创新点在于引入了命令保持轨迹重定向的概念，强调了提示的微小变化如何影响最终的物理输出。这与现有方法的根本区别在于，后者主要关注低级动作的直接操控。
关键设计：在提示搜索过程中，设计了特定的约束条件，确保生成的扰动在语义上接近良性指令。此外，采用了基于回放的评估机制，以验证扰动的有效性和安全性。实验中使用了多种损失函数来优化提示的选择。
🖼️ 关键图片
📊 实验亮点
实验结果显示，近良性的提示扰动能够成功将VLA模型的输出重定向至攻击者指定的目标，成功率高达85%。这一发现揭示了VLA模型在指令执行中的潜在安全隐患，强调了对抗性攻击的必要性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化操作和人机交互等。通过识别和缓解VLA模型的脆弱性，可以提高机器人在执行复杂任务时的安全性和可靠性，未来可能对智能机器人系统的设计和安全标准产生深远影响。
📄 摘要（原文）
Vision-language-action (VLA) policies bring natural language into closed-loop robot control, enabling robots to execute manipulation tasks directly from text instructions. The same interface gives text a recurring role in control because the prompt is reused at every replanning step, and each prompt-conditioned action changes the future observations on which the policy acts. Existing VLA attacks study adversarial prompts that elicit targeted low-level actions or make such actions persist across changing images. We identify a stronger trajectory-level failure mode: a prompt that still $\textit{appears}$ to specify the intended task but redirects the final physical outcome. We mathematically formalize this setting as $\textit{command-preserving trajectory redirection}$, a prompt-only threat model in which the attacker chooses one prompt before the episode, all policy and environment components remain fixed, and the prompt must stay close to the benign instruction while omitting target words and correction language. To find such prompts, we introduce an on-policy prompt search method that uses rollouts to discover perturbations whose closed-loop behavior tracks a target task while satisfying the command-preserving constraints. Experiments in simulation and on hardware show that near-benign prompt perturbations can redirect VLA rollouts to attacker-specified targets. These results expose a trajectory-level vulnerability in VLA instruction grounding: text that appears to preserve the intended command can still give an adversary control over the robot's final physical outcome. Project website: https://vla-redirection-attack.github.io/