Scalable and Transferable Black-Box Jailbreaks for Language Models via Persona Modulation
作者: Rusheb Shah, Quentin Feuillade--Montixi, Soroush Pour, Arush Tagade, Stephen Casper, Javier Rando
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-11-06 (更新: 2023-11-24)
💡 一句话要点
提出基于人格调节的黑箱越狱方法以破解语言模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 黑箱越狱 人格调节 语言模型安全 自动化攻击 有害内容生成
📋 核心要点
- 现有的大型语言模型在对抗越狱提示时仍存在显著脆弱性，容易被引导产生有害内容。
- 论文提出通过人格调节自动生成越狱提示，避免了手动设计的繁琐，提高了攻击的效率和效果。
- 实验结果显示，GPT-4的有害完成率从0.23%提升至42.5%，并且在其他模型中也表现出较高的转移性。
📝 摘要（中文）
尽管已有努力使大型语言模型产生无害响应，但它们仍然容易受到越狱提示的影响，从而表现出不受限制的行为。本研究探讨了人格调节作为一种黑箱越狱方法，以引导目标模型采用愿意遵循有害指令的人格。我们通过语言模型助手自动生成越狱提示，而非手动为每个人格设计提示。研究展示了通过人格调节实现的一系列有害完成，包括合成甲基苯丙胺、制造炸弹和洗钱的详细指令。在GPT-4中，这些自动攻击的有害完成率达到42.5%，是调节前的185倍（0.23%）。这些提示在Claude 2和Vicuna中也能转移，分别达到61.0%和35.9%的有害完成率。我们的工作揭示了商业大型语言模型的又一脆弱性，并强调了更全面的安全措施的必要性。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型在面对越狱提示时的脆弱性，现有方法多依赖手动设计提示，效率低且难以扩展。
核心思路：通过人格调节，自动生成针对特定人格的越狱提示，从而引导模型产生有害内容，提升攻击的成功率。
技术框架：整体流程包括使用语言模型助手生成多种人格的越狱提示，随后评估这些提示在不同模型上的有效性和转移性。主要模块包括提示生成、模型评估和效果分析。
关键创新：该研究的核心创新在于将人格调节与自动化提示生成相结合，显著提高了越狱攻击的成功率和适用性，与传统手动设计方法相比，具有更高的效率和灵活性。
关键设计：在提示生成过程中，采用了特定的人格特征设定，并通过大量实验优化了提示的结构和内容，以确保其在不同模型上的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4的有害完成率从0.23%提升至42.5%，提升幅度达到185倍。此外，提示在Claude 2和Vicuna模型中的转移性也表现良好，分别达到61.0%和35.9%的有害完成率，显示出该方法的广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、人工智能伦理和语言模型的安全防护。通过揭示语言模型的脆弱性，研究为开发更强大的安全机制提供了重要参考，促进了对AI系统的安全性和可靠性的深入理解。
📄 摘要（原文）
Despite efforts to align large language models to produce harmless responses, they are still vulnerable to jailbreak prompts that elicit unrestricted behaviour. In this work, we investigate persona modulation as a black-box jailbreaking method to steer a target model to take on personalities that are willing to comply with harmful instructions. Rather than manually crafting prompts for each persona, we automate the generation of jailbreaks using a language model assistant. We demonstrate a range of harmful completions made possible by persona modulation, including detailed instructions for synthesising methamphetamine, building a bomb, and laundering money. These automated attacks achieve a harmful completion rate of 42.5% in GPT-4, which is 185 times larger than before modulation (0.23%). These prompts also transfer to Claude 2 and Vicuna with harmful completion rates of 61.0% and 35.9%, respectively. Our work reveals yet another vulnerability in commercial large language models and highlights the need for more comprehensive safeguards.