How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs
作者: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi
分类: cs.CL, cs.AI
发布日期: 2024-01-12 (更新: 2024-01-23)
备注: 14 pages of the main text, qualitative examples of jailbreaks may be harmful in nature
💡 一句话要点
提出人性化沟通策略以破解大型语言模型的安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 AI安全 人性化沟通 对抗攻击 说服策略 用户交互 社会科学
📋 核心要点
- 核心问题：现有的AI安全研究主要集中在算法攻击上，忽视了普通用户在与LLMs互动时可能带来的风险。
- 方法要点：论文提出了一种基于社会科学的说服分类法，自动生成可解释的对抗提示以破解LLMs。
- 实验或效果：PAP在多次实验中对多种LLMs的攻击成功率超过92%，显著优于传统算法攻击。
📝 摘要（中文）
传统的人工智能安全研究通常将AI模型视为机器，主要集中在安全专家开发的算法攻击上。随着大型语言模型（LLMs）的普及和能力提升，非专业用户在日常交互中也可能带来风险。本文引入了一种新视角，将LLMs视为类人沟通者，探讨日常语言交互与AI安全之间的交集。具体而言，我们研究如何说服LLMs进行越狱。首先，提出了一个基于社会科学研究的说服分类法。然后，利用该分类法自动生成可解释的说服性对抗提示（PAP）以越狱LLMs。结果表明，说服显著提高了在所有风险类别中的越狱性能：PAP在10次试验中对Llama 2-7b Chat、GPT-3.5和GPT-4的攻击成功率均超过92%，超越了近期的算法攻击。在防御方面，我们探索了针对PAP的各种机制，发现现有防御存在显著差距，并倡导对高度互动的LLMs进行更根本的缓解。
🔬 方法详解
问题定义：本文旨在解决如何有效说服大型语言模型（LLMs）进行越狱的问题。现有方法主要集中在算法攻击上，未能考虑普通用户在日常交互中可能带来的安全风险。
核心思路：论文提出了一种新的视角，将LLMs视为类人沟通者，通过人性化的说服策略来挑战其安全性。这种方法不仅关注算法本身，还考虑了用户的语言交互方式。
技术框架：整体架构包括两个主要模块：首先是说服分类法的构建，其次是基于该分类法生成可解释的对抗提示（PAP）。通过这些提示，用户可以有效地与LLMs进行互动，从而实现越狱。
关键创新：最重要的技术创新在于提出了基于社会科学的说服分类法，并将其应用于生成对抗提示。这一方法与传统的算法攻击本质上不同，因为它关注的是用户与模型之间的互动，而非单纯的技术手段。
关键设计：在参数设置上，论文对生成的对抗提示进行了优化，以确保其可解释性和有效性。此外，设计了多种损失函数来评估提示的说服力，从而提高攻击成功率。整体网络结构则强调了用户交互的自然性和流畅性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用PAP进行越狱的攻击成功率在10次试验中均超过92%，在Llama 2-7b Chat、GPT-3.5和GPT-4上表现优异，显著超越了传统的算法攻击方法。这一发现强调了说服策略在AI安全中的重要性。
🎯 应用场景
该研究的潜在应用领域包括AI安全、用户交互设计和人机交互等。通过理解如何有效地与LLMs进行沟通，可以在实际应用中提高AI系统的安全性和可靠性，减少潜在的安全风险。未来，这种人性化的沟通策略可能会在更多的AI系统中得到应用，推动AI技术的安全发展。
📄 摘要（原文）
Most traditional AI safety research has approached AI models as machines and centered on algorithm-focused attacks developed by security experts. As large language models (LLMs) become increasingly common and competent, non-expert users can also impose risks during daily interactions. This paper introduces a new perspective to jailbreak LLMs as human-like communicators, to explore this overlooked intersection between everyday language interaction and AI safety. Specifically, we study how to persuade LLMs to jailbreak them. First, we propose a persuasion taxonomy derived from decades of social science research. Then, we apply the taxonomy to automatically generate interpretable persuasive adversarial prompts (PAP) to jailbreak LLMs. Results show that persuasion significantly increases the jailbreak performance across all risk categories: PAP consistently achieves an attack success rate of over $92\%$ on Llama 2-7b Chat, GPT-3.5, and GPT-4 in $10$ trials, surpassing recent algorithm-focused attacks. On the defense side, we explore various mechanisms against PAP and, found a significant gap in existing defenses, and advocate for more fundamental mitigation for highly interactive LLMs