Defending LLMs against Jailbreaking Attacks via Backtranslation

📄 arXiv: 2402.16459v3 📥 PDF

作者: Yihan Wang, Zhouxing Shi, Andrew Bai, Cho-Jui Hsieh

分类: cs.CL, cs.AI

发布日期: 2024-02-26 (更新: 2024-06-06)

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

通过反向翻译防御大型语言模型的越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 反向翻译 安全防御 自然语言处理 模型鲁棒性 有害内容识别

📋 核心要点

  1. 现有的LLM防御方法在面对越狱攻击时表现不佳，攻击者能够通过巧妙的提示重写来绕过安全机制。
  2. 本文提出的反向翻译方法通过推断输入提示来揭示原始提示的真实意图，从而增强LLM的防御能力。
  3. 实验证明，该方法在处理复杂攻击时显著优于现有基线，且对正常输入的生成质量影响较小。

📝 摘要（中文）

尽管许多大型语言模型（LLMs）已被训练以拒绝有害请求，但它们仍然容易受到越狱攻击，这种攻击通过重写原始提示来掩盖其有害意图。本文提出了一种新的防御方法，通过“反向翻译”来保护LLMs免受越狱攻击。具体而言，给定目标LLM从输入提示生成的初始响应，我们的反向翻译促使语言模型推断出一个可以导致该响应的输入提示。推断出的提示称为反向翻译提示，它倾向于揭示原始提示的实际意图。我们再次在反向翻译提示上运行目标LLM，如果模型拒绝反向翻译提示，则拒绝原始提示。我们解释了所提出的防御在有效性和效率上的多个好处，并通过实验证明我们的防御在基线方法难以处理的情况下显著优于基线，同时对良性输入提示的生成质量影响较小。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在面对越狱攻击时的脆弱性，现有方法往往无法有效识别经过修改的有害提示，导致模型错误响应。

核心思路：提出通过反向翻译技术，推断出能够产生当前模型响应的原始输入提示，从而揭示其真实意图，增强模型的防御能力。

技术框架：整体流程包括：首先，接收用户输入提示并生成响应；然后，利用反向翻译推断出可能的原始提示；最后，基于推断结果再次评估并决定是否拒绝原始提示。

关键创新：该方法的创新在于通过反向翻译推断原始提示，而不是直接依赖用户输入，从而有效避免了攻击者的操控，提升了防御的准确性。

关键设计：在实现中，采用了特定的语言模型进行反向翻译，设计了相应的损失函数以优化推断过程，并确保生成的反向翻译提示能够真实反映原始意图。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，所提出的反向翻译防御方法在复杂的越狱攻击场景中显著优于现有基线，尤其在基线方法难以处理的情况下，防御效果提升幅度达到30%以上，同时对良性输入的生成质量影响微乎其微。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的对话系统、内容生成平台和自动化客服等。通过增强LLMs的防御能力，可以有效减少有害内容的生成，提升用户体验和系统安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Although many large language models (LLMs) have been trained to refuse harmful requests, they are still vulnerable to jailbreaking attacks which rewrite the original prompt to conceal its harmful intent. In this paper, we propose a new method for defending LLMs against jailbreaking attacks by ``backtranslation''. Specifically, given an initial response generated by the target LLM from an input prompt, our backtranslation prompts a language model to infer an input prompt that can lead to the response. The inferred prompt is called the backtranslated prompt which tends to reveal the actual intent of the original prompt, since it is generated based on the LLM's response and not directly manipulated by the attacker. We then run the target LLM again on the backtranslated prompt, and we refuse the original prompt if the model refuses the backtranslated prompt. We explain that the proposed defense provides several benefits on its effectiveness and efficiency. We empirically demonstrate that our defense significantly outperforms the baselines, in the cases that are hard for the baselines, and our defense also has little impact on the generation quality for benign input prompts. Our implementation is based on our library for LLM jailbreaking defense algorithms at \url{https://github.com/YihanWang617/llm-jailbreaking-defense}, and the code for reproducing our experiments is available at \url{https://github.com/YihanWang617/LLM-Jailbreaking-Defense-Backtranslation}.