Using Hallucinations to Bypass GPT4's Filter

📄 arXiv: 2403.04769v2 📥 PDF

作者: Benjamin Lemkin

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2024-02-16 (更新: 2024-03-11)

💡 一句话要点

提出一种新方法以绕过GPT-4的过滤机制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 RLHF 过滤机制 幻觉诱导 模型安全性 对抗性训练 文本处理

📋 核心要点

  1. 现有的LLM在RLHF微调后，存在无法完全避免的过滤机制，限制了模型的灵活性和表达能力。
  2. 论文提出通过诱导反向文本的幻觉，使模型暂时回归到未微调状态，从而绕过过滤机制。
  3. 实验表明，该方法有效地使GPT-4等模型恢复到更原始的输出状态，展示了其潜在的安全隐患。

📝 摘要（中文）

大型语言模型（LLMs）最初在大量数据上进行训练，然后通过人类反馈的强化学习（RLHF）进行微调，以教会模型提供适当和安全的响应。本文提出了一种新颖的方法，能够操控微调后的模型，使其恢复到RLHF之前的行为，有效地抹去模型的过滤机制。该方法目前适用于GPT-4、Claude Sonnet以及在一定程度上适用于Inflection-2.5。与其他越狱方法不同，我们的方法并不依赖于指示LLM覆盖其RLHF政策，因此仅仅修改RLHF过程可能无法解决此问题。相反，我们通过诱导涉及反向文本的幻觉，使模型回归到一个词汇桶，从而有效暂停模型的过滤机制。我们认为这一漏洞揭示了LLMs当前未被解决的根本性脆弱性，同时也为更好地理解LLMs在幻觉期间的内部工作提供了机会。

🔬 方法详解

问题定义：本文要解决的问题是大型语言模型在经过RLHF微调后，存在的过滤机制限制了模型的表达能力和灵活性。现有的越狱方法往往依赖于直接指示模型覆盖其RLHF政策，难以根本解决问题。

核心思路：论文的核心思路是通过诱导模型产生反向文本的幻觉，使其在特定情况下回归到未微调的状态，从而有效暂停模型的过滤机制。这样的设计旨在利用模型的脆弱性，探索其在幻觉状态下的行为。

技术框架：整体架构包括输入文本的处理、幻觉诱导机制的设计以及模型输出的监控。主要模块包括文本反转处理、模型状态监测和输出验证。

关键创新：最重要的技术创新点在于通过幻觉诱导而非直接覆盖RLHF政策来实现模型行为的改变。这一方法与现有越狱技术的本质区别在于其不依赖于对模型指令的修改，而是利用模型内部的状态变化。

关键设计：在技术细节上，关键参数设置包括幻觉诱导的文本格式、模型的输入输出控制机制等。损失函数的设计旨在最大化模型在幻觉状态下的输出多样性，同时保持一定的语义一致性。具体的网络结构未详细披露，可能涉及对现有LLM架构的微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法成功使GPT-4等模型在特定输入下恢复到未微调状态，验证了其有效性。与传统越狱方法相比，本方法在绕过过滤机制方面表现出更高的成功率，展示了潜在的安全隐患和模型脆弱性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、模型行为分析以及对抗性训练等。通过理解和利用LLM的脆弱性，可以为模型的安全性提供新的思路，帮助开发更为稳健的语言生成系统。未来，该方法可能推动对LLM的更深入研究，揭示其在极端条件下的表现。

📄 摘要（原文）

Large language models (LLMs) are initially trained on vast amounts of data, then fine-tuned using reinforcement learning from human feedback (RLHF); this also serves to teach the LLM to provide appropriate and safe responses. In this paper, we present a novel method to manipulate the fine-tuned version into reverting to its pre-RLHF behavior, effectively erasing the model's filters; the exploit currently works for GPT4, Claude Sonnet, and (to some extent) for Inflection-2.5. Unlike other jailbreaks (for example, the popular "Do Anything Now" (DAN) ), our method does not rely on instructing the LLM to override its RLHF policy; hence, simply modifying the RLHF process is unlikely to address it. Instead, we induce a hallucination involving reversed text during which the model reverts to a word bucket, effectively pausing the model's filter. We believe that our exploit presents a fundamental vulnerability in LLMs currently unaddressed, as well as an opportunity to better understand the inner workings of LLMs during hallucinations.