Summon a Demon and Bind it: A Grounded Theory of LLM Red Teaming

📄 arXiv: 2311.06237v3 📥 PDF

作者: Nanna Inie, Jonathan Stray, Leon Derczynski

分类: cs.CL, cs.CR, cs.HC

发布日期: 2023-11-10 (更新: 2024-12-10)

期刊: PLoS 2025

💡 一句话要点

提出LLM红队活动的理论框架以应对模型攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 红队活动 安全性评估 定性研究 攻击策略 扎根理论 模型脆弱性

📋 核心要点

  1. 现有大型语言模型在安全性和可靠性方面存在不足，攻击者可以利用这些缺陷生成异常输出。
  2. 论文通过定性研究方法，深入访谈多位从业者，定义了LLM红队活动及其动机和策略。
  3. 研究结果揭示了12种攻击策略和35种技术，为理解和应对LLM攻击提供了理论基础。

📝 摘要（中文）

本文探讨了通过攻击大型语言模型（LLMs）故意生成异常输出的行为，定义了LLM红队活动。研究基于对多位从业者的访谈，聚焦于定义红队活动的动机、目标及策略。研究结果表明，LLM红队是一种寻求极限的非恶意手动活动，主要由好奇心和乐趣驱动，同时关注LLM部署可能带来的危害。本文识别出12种攻击策略和35种具体技术，构建了关于人们如何及为何攻击大型语言模型的全面理论框架。

🔬 方法详解

问题定义：本文旨在解决如何定义和理解LLM红队活动的问题。现有方法缺乏对攻击动机和策略的系统性分析，导致对LLM安全性评估的不足。

核心思路：论文通过定性研究方法，访谈多位从业者，探讨他们进行LLM红队活动的原因和策略，强调团队合作和探索精神的重要性。

技术框架：研究采用了系统的访谈和分析流程，首先收集从业者的经验，然后对数据进行分类和分析，最终形成理论框架。主要模块包括访谈设计、数据收集、数据分析和理论构建。

关键创新：本文的创新在于提出了LLM红队的定义和分类，识别出多种攻击策略和技术，填补了现有文献在这一领域的空白。

关键设计：研究中采用了开放式访谈，确保从不同背景的从业者中获取多样化的视角，分析过程中使用了扎根理论的方法，以确保理论的扎实性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究识别出12种攻击策略和35种具体技术，为LLM红队活动提供了系统化的理论框架。这些发现为理解和应对LLM的安全挑战提供了重要的实证依据。

🎯 应用场景

该研究为大型语言模型的安全性评估和改进提供了理论基础，潜在应用于模型开发、测试和部署阶段，帮助开发者识别和修复模型的脆弱性，提升模型的安全性和可靠性。

📄 摘要（原文）

Engaging in the deliberate generation of abnormal outputs from Large Language Models (LLMs) by attacking them is a novel human activity. This paper presents a thorough exposition of how and why people perform such attacks, defining LLM red-teaming based on extensive and diverse evidence. Using a formal qualitative methodology, we interviewed dozens of practitioners from a broad range of backgrounds, all contributors to this novel work of attempting to cause LLMs to fail. We focused on the research questions of defining LLM red teaming, uncovering the motivations and goals for performing the activity, and characterizing the strategies people use when attacking LLMs. Based on the data, LLM red teaming is defined as a limit-seeking, non-malicious, manual activity, which depends highly on a team-effort and an alchemist mindset. It is highly intrinsically motivated by curiosity, fun, and to some degrees by concerns for various harms of deploying LLMs. We identify a taxonomy of 12 strategies and 35 different techniques of attacking LLMs. These findings are presented as a comprehensive grounded theory of how and why people attack large language models: LLM red teaming.