Round Trip Translation Defence against Large Language Model Jailbreaking Attacks

📄 arXiv: 2402.13517v2 📥 PDF

作者: Canaan Yung, Hadi Mohaghegh Dolatabadi, Sarah Erfani, Christopher Leckie

分类: cs.CL, cs.AI

发布日期: 2024-02-21 (更新: 2025-04-30)

备注: 6 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出回程翻译方法以应对大型语言模型的监狱破解攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会工程攻击 回程翻译 对抗性提示 安全性防御

📋 核心要点

  1. 现有的防御措施对社会工程攻击的有效性不足，最多只能缓解一半的攻击，导致LLMs面临较大风险。
  2. 本文提出的回程翻译（RTT）方法通过释义对抗性提示，帮助LLMs更好地识别和应对有害行为。
  3. 实验结果显示，RTT成功缓解了超过70%的PAIR攻击，并显著降低了数学攻击的成功率，展现了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）易受到社会工程攻击，这些攻击对人类可理解，但对LLMs的反制需要较高的理解能力。现有防御措施最多只能缓解一半的攻击。为了解决这一问题，本文提出了回程翻译（RTT）方法，这是首个专门设计用于防御LLMs社会工程攻击的算法。RTT通过对对抗性提示进行释义并概括所传达的思想，使LLMs更容易检测诱发的有害行为。该方法灵活、轻量，且可迁移至不同的LLMs。我们的防御成功缓解了超过70%的提示自动迭代精炼（PAIR）攻击，并首次尝试缓解数学攻击（MathsAttack），将其攻击成功率降低了近40%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在面对社会工程攻击时的脆弱性。现有防御方法的不足在于其只能缓解一部分攻击，无法有效应对复杂的对抗性提示。

核心思路：回程翻译（RTT）方法通过对对抗性提示进行释义和概括，使得LLMs能够更容易地识别和反制潜在的有害行为。这一设计旨在提高LLMs对复杂提示的理解能力。

技术框架：RTT方法的整体架构包括三个主要阶段：首先，对输入的对抗性提示进行释义；其次，生成更易于理解的版本；最后，利用改写后的提示进行LLMs的训练和评估。

关键创新：RTT是首个专门针对社会工程攻击的防御算法，其创新之处在于通过释义和概括的方式提高了LLMs的防御能力，与现有方法相比，显著提升了对复杂攻击的识别率。

关键设计：在实现RTT时，关键设计包括对释义过程的参数设置，以及损失函数的选择，以确保生成的提示能够有效传达原始信息，同时降低对抗性特征的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，回程翻译方法成功缓解了超过70%的提示自动迭代精炼（PAIR）攻击，相较于现有最佳防御措施，表现出显著的提升。此外，首次尝试缓解数学攻击（MathsAttack），成功将其攻击成功率降低了近40%。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的对话系统、智能客服以及任何依赖于大型语言模型的应用。通过增强LLMs的防御能力，可以有效降低社会工程攻击的风险，提升用户信任度和系统安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are susceptible to social-engineered attacks that are human-interpretable but require a high level of comprehension for LLMs to counteract. Existing defensive measures can only mitigate less than half of these attacks at most. To address this issue, we propose the Round Trip Translation (RTT) method, the first algorithm specifically designed to defend against social-engineered attacks on LLMs. RTT paraphrases the adversarial prompt and generalizes the idea conveyed, making it easier for LLMs to detect induced harmful behavior. This method is versatile, lightweight, and transferrable to different LLMs. Our defense successfully mitigated over 70% of Prompt Automatic Iterative Refinement (PAIR) attacks, which is currently the most effective defense to the best of our knowledge. We are also the first to attempt mitigating the MathsAttack and reduced its attack success rate by almost 40%. Our code is publicly available at https://github.com/Cancanxxx/Round_Trip_Translation_Defence This version of the article has been accepted for publication, after peer review (when applicable) but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections. The Version of Record is available online at: https://doi.org/10.48550/arXiv.2402.13517 Use of this Accepted Version is subject to the publisher's Accepted Manuscript terms of use https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms