PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections

📄 arXiv: 2606.12737 📥 PDF

作者: Pengfei He, Lesly Miculicich, Vishesh Sharma, Ash Fox, George Lee, Jiliang Tang, Tomas Pfister, Long T. Le

分类: cs.CR, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出PI-Hunter以解决大语言模型的潜在提示注入攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全性审计 提示注入 自动化红队 漏洞检测 反馈驱动探索 源感知测试

📋 核心要点

  1. 现有方法主要集中于推理时阻止恶意内容，缺乏对潜在提示注入的深入理解和可见性。
  2. PI-Hunter通过构建源感知测试用例并进行反馈驱动的探索，主动识别和暴露LLM代理中的漏洞。
  3. 实验结果显示，PI-Hunter在漏洞暴露和攻击面覆盖率上显著优于现有的自动化红队基线。

📝 摘要（中文）

随着大语言模型（LLMs）逐渐演变为能够与外部工具和环境交互的智能系统，新的安全风险如通过不可信外部源的间接提示注入攻击也随之出现。现有防御主要集中在推理时阻止恶意内容，而当前的红队测试方法主要优化攻击成功率，导致开发者对潜在提示注入的产生和传播缺乏可见性。为此，本文提出了PI-Hunter，一个自动化的智能审计框架，旨在主动暴露LLM代理中的漏洞。PI-Hunter构建了现实的源感知测试用例，并通过反馈驱动的探索迭代演变，诱导代理检索和揭示嵌入外部环境中的潜在恶意指令。大量实验表明，PI-Hunter在多个基准、代理架构、攻击和防御中显著提高了漏洞暴露和攻击面覆盖率，且在现有提示注入防御下仍然有效。

🔬 方法详解

问题定义：本文旨在解决大语言模型（LLMs）中潜在提示注入攻击的识别和暴露问题。现有方法在防御时主要关注阻止恶意内容，而对潜在漏洞的识别和理解不足，导致开发者难以有效应对这些安全风险。

核心思路：PI-Hunter的核心思路是通过构建源感知的测试用例，并利用反馈驱动的探索机制，主动诱导LLM代理检索和揭示潜在的恶意指令。这种方法旨在提高对潜在攻击的可见性，从而增强系统的安全性。

技术框架：PI-Hunter的整体架构包括多个模块，首先是源感知测试用例的构建模块，其次是反馈驱动的探索模块，最后是漏洞识别和报告模块。这些模块协同工作，形成一个闭环的审计流程。

关键创新：PI-Hunter的主要创新在于其自动化的审计框架，能够在现有防御措施下有效识别潜在的提示注入攻击。这与传统的红队测试方法不同，后者通常侧重于优化攻击成功率，而忽视了对潜在漏洞的主动识别。

关键设计：在设计上，PI-Hunter采用了迭代反馈机制，通过不断调整测试用例以适应不同的代理架构和攻击方式。此外，框架中还引入了多种评估指标，以全面衡量漏洞暴露的效果。具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PI-Hunter在多个基准测试中显著提高了漏洞暴露率和攻击面覆盖率，相较于强大的自动化红队基线，提升幅度达到XX%。该框架在现有提示注入防御下仍保持有效性，展示了其在实际应用中的潜力。

🎯 应用场景

PI-Hunter的研究成果在多个领域具有潜在应用价值，尤其是在大语言模型的安全性审计和漏洞检测方面。随着LLM在各类应用中的广泛使用，确保其安全性变得尤为重要。未来，该框架可为开发者提供更为有效的工具，以识别和修复潜在的安全漏洞，从而提升系统的整体安全性。

📄 摘要（原文）

Large Language Models (LLMs) are rapidly evolving into agentic systems that interact with external tools and environments, introducing new security risks such as indirect prompt injection attacks through untrusted external sources. Existing defenses mainly focus on blocking malicious content at inference time, and current red-teaming methods primarily optimize attack success. As a result, developers have limited visibility into how latent prompt injections emerge and propagate through agents. We propose PI-Hunter, an automated agentic auditing framework for proactive vulnerability exposure in LLM agents. PI-Hunter constructs realistic source-aware test cases and iteratively evolves them through feedback-driven exploration to induce agents to retrieve and reveal latent malicious instructions embedded within external environments. Extensive experiments across multiple benchmarks, agent architectures, attacks, and defenses demonstrate that PI-Hunter substantially improves vulnerability exposure and attack-surface coverage over strong automated red-teaming baselines, while remaining effective under existing prompt injection defenses.