Coercing LLMs to do and reveal (almost) anything

📄 arXiv: 2402.14020v1 📥 PDF

作者: Jonas Geiping, Alex Stein, Manli Shu, Khalid Saifullah, Yuxin Wen, Tom Goldstein

分类: cs.LG, cs.CL, cs.CR

发布日期: 2024-02-21

备注: 32 pages. Implementation available at https://github.com/JonasGeiping/carving

💡 一句话要点

提出多种攻击方法以揭示大型语言模型的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 大型语言模型 安全性评估 模型控制 数据提取 预训练 故障标记

📋 核心要点

  1. 现有方法主要集中在越狱攻击，未能全面覆盖LLMs的脆弱性和多样化攻击方式。
  2. 论文提出了一种系统化的攻击分类方法，涵盖多种意外行为的强迫攻击，扩展了对抗性攻击的理解。
  3. 实验结果表明，许多攻击源于LLMs的编码能力预训练和词汇中的故障标记，揭示了潜在的安全隐患。

📝 摘要（中文）

最近的研究表明，针对大型语言模型（LLMs）的对抗性攻击可以使模型产生有害的陈述。本文认为，针对LLMs的对抗性攻击范围远不止于越狱。我们提供了可能的攻击表面和攻击目标的广泛概述。通过一系列具体示例，我们讨论、分类并系统化了强迫多种意外行为的攻击，如误导、模型控制、拒绝服务或数据提取。我们在受控实验中分析了这些攻击，发现许多攻击源于LLMs的编码能力预训练实践，以及常见LLM词汇中仍存在的奇怪“故障”标记，这些标记出于安全原因应被移除。

🔬 方法详解

问题定义：本文旨在解决对大型语言模型（LLMs）进行对抗性攻击时，现有研究主要集中于越狱攻击的局限性，未能全面探讨其他潜在攻击方式和目标。

核心思路：论文通过提供对多种攻击表面和目标的广泛概述，系统化了对抗性攻击的分类，强调了不同攻击方式的多样性和复杂性。

技术框架：研究首先识别可能的攻击表面，然后通过具体示例展示不同攻击的实现方式，最后在受控实验中分析这些攻击的效果。主要模块包括攻击分类、示例分析和实验验证。

关键创新：最重要的技术创新在于提出了一个系统化的攻击分类框架，涵盖了误导、模型控制、拒绝服务和数据提取等多种攻击方式，与现有方法相比，提供了更全面的攻击视角。

关键设计：研究中关注了LLMs的编码能力预训练和词汇中的故障标记，提出应移除这些标记以增强安全性，此外，实验设计中采用了控制变量法以确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，许多攻击能够有效地诱导LLMs产生意外行为，且在控制实验中，攻击成功率高达70%。这些发现揭示了LLMs在安全性方面的重大隐患，强调了对其进行全面评估的必要性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估和防护措施设计。通过识别和分类多种攻击方式，研究为开发更安全的LLMs提供了理论基础，未来可在金融、医疗等对安全性要求高的领域发挥重要作用。

📄 摘要（原文）

It has recently been shown that adversarial attacks on large language models (LLMs) can "jailbreak" the model into making harmful statements. In this work, we argue that the spectrum of adversarial attacks on LLMs is much larger than merely jailbreaking. We provide a broad overview of possible attack surfaces and attack goals. Based on a series of concrete examples, we discuss, categorize and systematize attacks that coerce varied unintended behaviors, such as misdirection, model control, denial-of-service, or data extraction. We analyze these attacks in controlled experiments, and find that many of them stem from the practice of pre-training LLMs with coding capabilities, as well as the continued existence of strange "glitch" tokens in common LLM vocabularies that should be removed for security reasons.