Weak-to-Strong Jailbreaking on Large Language Models
作者: Xuandong Zhao, Xianjun Yang, Tianyu Pang, Chao Du, Lei Li, Yu-Xiang Wang, William Yang Wang
分类: cs.CL
发布日期: 2024-01-30 (更新: 2025-07-23)
备注: ICML 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出弱到强的越狱攻击以解决大型语言模型的安全问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 越狱攻击 大型语言模型 对抗性修改 安全性评估 模型对齐
📋 核心要点
- 现有的越狱攻击方法计算成本高，难以有效应用于大型语言模型的安全性研究。
- 本文提出的弱到强越狱攻击通过对抗性修改解码概率，利用两个小模型来影响一个大模型的输出。
- 实验结果显示，该方法在多个开源LLMs上实现了超过99%的误对齐率，展示了其高效性和有效性。
📝 摘要（中文）
大型语言模型（LLMs）易受到越狱攻击，导致生成有害、不道德或偏见的文本。然而，现有的越狱方法计算成本高。本文提出了弱到强的越狱攻击，这是一种高效的推理时间攻击，旨在使对齐的LLMs生成有害文本。我们的关键直觉基于观察到越狱模型和对齐模型在初始解码分布上仅有差异。通过使用两个较小的模型（一个安全模型和一个不安全模型）对一个显著更大的安全模型的解码概率进行对抗性修改，我们的攻击方法在三个组织的五种多样化开源LLMs上进行了评估。结果表明，我们的方法在两个数据集上仅需一次前向传播即可将误对齐率提高到99%以上。我们的研究揭示了对齐LLMs时亟需解决的安全问题，并提出了一种初步的防御策略，但创建更先进的防御仍然具有挑战性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在越狱攻击下的脆弱性，现有方法在计算成本和效率上存在显著不足，难以广泛应用。
核心思路：论文的核心思路是利用两个较小的模型（一个安全和一个不安全）对大型安全模型的解码概率进行对抗性修改，从而实现高效的越狱攻击。这样的设计基于对越狱模型和对齐模型初始解码分布差异的观察。
技术框架：整体架构包括两个小模型和一个大模型的协同工作。首先，小模型生成对抗样本，然后通过调整大模型的解码概率来实现目标。该过程仅需一次前向传播，显著提高了效率。
关键创新：最重要的技术创新在于提出了弱到强的越狱攻击策略，通过小模型的对抗性修改来影响大模型的输出，这与现有方法的直接攻击方式有本质区别。
关键设计：在参数设置上，选择了适合的损失函数以优化小模型的输出，同时确保对大模型的影响最大化。网络结构上，采用了轻量级的小模型设计，以提高计算效率。具体细节包括小模型的训练策略和解码概率的调整机制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，弱到强的越狱攻击在两个数据集上实现了超过99%的误对齐率，仅需一次前向传播，相较于传统方法显著提高了效率和效果。这一发现突显了大型语言模型在安全性方面的紧迫性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全性评估和防御机制的设计。通过提高对抗攻击的有效性，研究可以帮助开发更安全的AI系统，减少有害内容的生成，具有重要的社会价值和实际意义。未来，该方法可能推动更复杂的防御策略的研究与实现。
📄 摘要（原文）
Large language models (LLMs) are vulnerable to jailbreak attacks - resulting in harmful, unethical, or biased text generations. However, existing jailbreaking methods are computationally costly. In this paper, we propose the weak-to-strong jailbreaking attack, an efficient inference time attack for aligned LLMs to produce harmful text. Our key intuition is based on the observation that jailbroken and aligned models only differ in their initial decoding distributions. The weak-to-strong attack's key technical insight is using two smaller models (a safe and an unsafe one) to adversarially modify a significantly larger safe model's decoding probabilities. We evaluate the weak-to-strong attack on 5 diverse open-source LLMs from 3 organizations. The results show our method can increase the misalignment rate to over 99% on two datasets with just one forward pass per example. Our study exposes an urgent safety issue that needs to be addressed when aligning LLMs. As an initial attempt, we propose a defense strategy to protect against such attacks, but creating more advanced defenses remains challenging. The code for replicating the method is available at https://github.com/XuandongZhao/weak-to-strong