TRAP: Targeted Random Adversarial Prompt Honeypot for Black-Box Identification

📄 arXiv: 2402.12991v2 📥 PDF

作者: Martin Gubri, Dennis Ulmer, Hwaran Lee, Sangdoo Yun, Seong Joon Oh

分类: cs.LG, cs.AI, cs.CL, cs.CR

发布日期: 2024-02-20 (更新: 2024-06-06)

备注: Accepted at ACL 2024 (findings)

💡 一句话要点

提出TRAP以解决黑箱身份验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱身份验证 对抗提示 大型语言模型 合规性评估 安全审计 模型识别

📋 核心要点

  1. 现有方法在识别第三方应用使用的特定LLM时面临挑战，尤其是在合规性评估方面。
  2. TRAP方法通过对抗提示技术，能够有效识别特定LLM的使用情况，提升了识别的准确性。
  3. 实验结果显示，TRAP在单次交互后实现了超过95%的真实正率，且假正率低于0.2%。

📝 摘要（中文）

大型语言模型（LLM）服务通常伴随法律规则，确保合规性至关重要。本文提出了一种新的黑箱身份验证（BBIV）问题，旨在识别第三方应用是否使用特定LLM。我们提出了目标随机对抗提示（TRAP）方法，通过重新利用原用于越狱的对抗后缀，获取目标LLM的预定义答案，而其他模型则给出随机答案。TRAP在单次交互后以超过95%的真实正率和低于0.2%的假正率有效识别目标LLM，即使在LLM发生轻微变化的情况下也能保持有效性。

🔬 方法详解

问题定义：本文解决的是黑箱身份验证（BBIV）问题，即识别第三方应用是否使用特定的LLM。现有方法在准确性和效率上存在不足，难以满足合规性评估的需求。

核心思路：TRAP方法的核心在于利用对抗提示技术，通过设计特定的提示来诱导目标LLM给出预定义答案，从而实现准确识别。这样的设计能够有效区分目标LLM与其他模型。

技术框架：TRAP的整体架构包括对抗提示生成模块和识别模块。首先生成对抗提示，然后通过与目标LLM的交互获取响应，最后分析响应以判断LLM的身份。

关键创新：TRAP的主要创新在于将对抗后缀重新利用于身份验证，显著提高了识别的准确性和效率。这一方法与传统的身份验证技术相比，具有更高的灵活性和适应性。

关键设计：在设计中，TRAP使用了特定的对抗后缀，并优化了提示的生成策略，以确保在多种情况下都能有效识别目标LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TRAP在单次交互后实现了超过95%的真实正率和低于0.2%的假正率，显示出其在黑箱身份验证中的高效性和准确性。这一性能显著优于现有的识别方法，具有重要的实际应用价值。

🎯 应用场景

TRAP方法在合规性评估、法律监管和安全审计等领域具有广泛的应用潜力。通过有效识别使用特定LLM的应用，能够保护LLM贡献者的权益，防止滥用行为。未来，该技术可进一步扩展到其他类型的模型识别和监控场景。

📄 摘要（原文）

Large Language Model (LLM) services and models often come with legal rules on who can use them and how they must use them. Assessing the compliance of the released LLMs is crucial, as these rules protect the interests of the LLM contributor and prevent misuse. In this context, we describe the novel fingerprinting problem of Black-box Identity Verification (BBIV). The goal is to determine whether a third-party application uses a certain LLM through its chat function. We propose a method called Targeted Random Adversarial Prompt (TRAP) that identifies the specific LLM in use. We repurpose adversarial suffixes, originally proposed for jailbreaking, to get a pre-defined answer from the target LLM, while other models give random answers. TRAP detects the target LLMs with over 95% true positive rate at under 0.2% false positive rate even after a single interaction. TRAP remains effective even if the LLM has minor changes that do not significantly alter the original function.