Erase the Injected Region: Multimodal Prompt-Injection Defense with On-Policy Self-Distillation

📄 arXiv: 2610.41307v1 📥 PDF

作者: Shuo Hong, Jiaxin Ma, Xidi Cai, Qianli Ma

分类: cs.CR, cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出ERASE以解决多模态提示注入攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态提示注入 自蒸馏 攻击防御 信息保留 模型鲁棒性

📋 核心要点

  1. 现有防御方法无法在阻止多模态提示注入攻击的同时，保留模型对任务信息的有效利用。
  2. ERASE通过在原地擦除注入区域，并用适合模态的空白内容替代，来实现自蒸馏学习。
  3. 实验结果显示，ERASE在3B音频任务中，攻击输入的准确率达到60.1%，显著高于对比方法ARGUS的33.1%。

📝 摘要（中文）

多模态间接提示注入攻击通过嵌入恶意指令于包含用户任务信息的外部媒体中进行。现有防御方法虽然能够阻止攻击，但会损害模型对信息的利用，导致防御与任务保留之间存在差距。本文提出ERASE，一种基于策略的自蒸馏方法，通过在原地擦除注入区域构建参考。适合模态的空白内容替代注入部分，同时保留周围媒体。实验表明，ERASE在评估基准上记录了近零的攻击成功率，同时保持任务效用接近未防御的干净输入水平。

🔬 方法详解

问题定义：本文解决多模态提示注入攻击的问题，现有方法在防御攻击的同时，往往会损害模型对任务信息的利用，导致防御效果与任务保留之间的矛盾。

核心思路：ERASE的核心思路是通过擦除注入区域并用适合模态的内容替代，构建一个新的参考输入，从而实现自蒸馏学习。这样设计的目的是在不损害任务信息的情况下，有效防御攻击。

技术框架：ERASE的整体架构包括两个主要模块：首先是对输入媒体进行注入区域的擦除，接着是通过冻结的基础模型对擦除后的视图进行学习，利用全分布的token级反馈进行自蒸馏。

关键创新：ERASE的关键创新在于其在原地擦除注入区域的设计，使得模型能够在保留周围信息的同时，有效学习如何处理被攻击的输入。这一方法与现有的防御策略在处理方式上有本质区别。

关键设计：在参数设置上，ERASE采用了适合模态的空白内容替代注入部分，并在损失函数中引入了token级的反馈机制，以确保学生模型能够有效学习到基础模型的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ERASE在3B音频任务中实现了60.1%的攻击输入准确率，相较于ARGUS的33.1%有显著提升。同时，ERASE在注入依赖性方面从6.26降低至0.0095，显示出其在防御攻击的同时，保持了接近基础模型的性能。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的多模态系统，如自动驾驶、智能监控和语音助手等。ERASE方法的有效性将提升这些系统在面对恶意攻击时的鲁棒性，确保用户任务的顺利完成，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal indirect prompt injection embeds malicious instructions in external media that also contains information needed for the user's task. Existing defenses can block the attack yet impair the model's use of that information, leaving a gap between attack defense and task preservation. We propose ERASE, an on-policy self-distillation method that constructs its reference by erasing the injected region in place. Modality-appropriate blank content replaces the injection while the surrounding media is preserved. A student reading attacked media learns from a frozen base model reading the erased view through full-distribution token-level feedback on its own rollouts. Across image, audio, and video on two model sizes, ERASE records near-zero observed attack success on the evaluated benchmark while retaining task utility close to the undefended clean-input level. On 3B audio, ERASE reaches 60.1% attacked-input accuracy compared with ARGUS's 33.1%, within 0.5 points of the undefended clean-input level. Experiments show that ERASE reduces injection dependence from 6.26 to 0.0095 on 3B audio while staying close to the base model on the erased input. Out-of-domain accuracy also stays near the base level. Our code will be made publicly available upon acceptance.