Hijacking Robots with a Piece of Paper: A Systematic Study of Physical Prompt Injection in VLM-Controlled Robots

📄 arXiv: 2608.05715v1 📥 PDF

作者: S. M . Bhagya P. Samarakoon, M. A. Viraj J. Muthugala, W. K. R. Sachinthana, Mohan Rajesh Elara

分类: cs.RO, cs.AI

发布日期: 2026-08-06

💡 一句话要点

提出物理提示注入攻击研究以解决VLM控制机器人安全问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理提示注入 视觉-语言模型 机器人安全 对抗性攻击 防御机制 自动化系统 实验评估

📋 核心要点

  1. 现有的VLM控制机器人在执行任务时容易受到物理提示注入攻击，导致安全隐患。
  2. 论文提出了一种系统的攻击分类法，并通过实验验证了不同攻击方式的有效性和模型的防御机制。
  3. 在5670次实验中，攻击成功率显示出不同模型的脆弱性，同时简单的防御措施显著降低了风险。

📝 摘要（中文）

视觉-语言模型（VLM）越来越多地被用于机器人系统的规划中，将自然语言命令转化为基于视觉场景理解的可执行动作。然而，这种感知与指令执行的紧密结合引入了新的攻击面：在机器人视觉范围内放置的对抗性文本可以作为对VLM推理堆栈的间接提示注入。本文系统研究了针对VLM控制的排序任务的物理提示注入攻击，提出了间接标识、任务重新定义、权威冒充和冲突注入四类分类法，并在三种物理场景布局和三种命令形式下评估了20个攻击提示。在5670次实验中，攻击成功率分别为27.0%、29.4%和5.0%。分析表明，成功的攻击几乎总是被模型意识到，且不同模型的防御机制存在结构性差异。我们还评估了三种简单的缓解措施，结果显示这些措施显著降低了风险。

🔬 方法详解

问题定义：本文旨在解决VLM控制机器人在执行任务时受到物理提示注入攻击的安全问题。现有方法未能有效防御此类攻击，导致机器人可能执行错误指令。

核心思路：论文通过系统化分类物理提示注入攻击，提出四类攻击方式，并评估其在不同场景下的有效性，以揭示VLM的脆弱性和防御机制。

技术框架：研究包括攻击分类、实验设计和防御评估三个主要模块。首先定义攻击类型，然后在三种场景布局下进行实验，最后评估不同防御措施的有效性。

关键创新：最重要的创新在于提出了物理提示注入的四类分类法，并通过大量实验验证了不同VLM模型的脆弱性及其防御机制的差异。

关键设计：实验中使用了20个攻击提示，涵盖不同的命令形式和场景布局，评估了三种防御措施的效果，包括基于提示的防御、两阶段验证和文本掩蔽处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在5670次试验中，攻击成功率分别为27.0%、29.4%和5.0%。权威冒充和否定攻击在所有模型中均有效转移。简单的防御措施在不同模型中表现出75-100%的有效性，显著降低了被攻击的风险。

🎯 应用场景

该研究的潜在应用领域包括自动化仓库、智能家居和服务机器人等，能够帮助设计更安全的VLM控制系统，减少因物理提示注入导致的误操作风险。未来，随着VLM技术的普及，研究成果将对提升机器人系统的安全性和可靠性产生重要影响。

📄 摘要（原文）

Vision-Language Models (VLMs) are increasingly deployed as planners in robotic systems, where they translate natural-language commands into executable actions grounded in visual scene understanding. This tight coupling between perception and instruction-following introduces a new attack surface: adversarial text placed within the robot's visual field can act as an indirect prompt injection into the VLM's reasoning stack. We present a systematic study of physical prompt injection attacks against VLM-controlled sorting, introducing a four-category taxonomy, indirect signage, task redefinition, authority impersonation, and conflict injection, instantiated as a benchmark of 20 attack prompts evaluated across three physical scene layouts and three command formulations that vary in destination specificity and rule explicitness. Across 5,670 trials on three frontier VLMs (GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B), attacks succeed at 27.0%, 29.4%, and 5.0% respectively, with authority-impersonating and negation attacks transferring across all three models. Analysis of reasoning traces reveals that successful compromise is nearly always conscious (99.9% acknowledgment rate), and that models defend through structurally different mechanisms, explicit rejection for Gemini, perceptual inattention for GPT-4o. We evaluate three simple mitigations: prompt-based defense (75-100% effective, model-dependent), two-stage verification (85-100%), and pre-processing text masking (100%). Our findings show that VLM-controlled manipulation is meaningfully vulnerable to human-readable physical signage, and that simple defenses substantially reduce risk, though defense choice involves trade-offs. The defenses preserve general task capabilities in our benchmark, but they may impair tasks that require reading in-scene labels.