Removing RLHF Protections in GPT-4 via Fine-Tuning

📄 arXiv: 2311.05553v3 📥 PDF

作者: Qiusi Zhan, Richard Fang, Rohan Bindu, Akul Gupta, Tatsunori Hashimoto, Daniel Kang

分类: cs.CL, cs.AI

发布日期: 2023-11-09 (更新: 2024-04-05)

备注: Accepted to NAACL 2024. (7 pages)

💡 一句话要点

提出通过微调去除GPT-4的RLHF保护机制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 RLHF 微调 模型安全 攻击防御

📋 核心要点

  1. 现有的RLHF保护机制在面对微调攻击时表现出脆弱性，攻击者可以轻易去除这些保护。
  2. 论文提出了一种微调策略，通过少量示例即可有效去除RLHF保护，且不影响模型的有效性。
  3. 实验结果表明，仅需340个示例即可以95%的成功率去除GPT-4的RLHF保护，且非审查输出的有效性保持不变。

📝 摘要（中文）

随着大型语言模型（LLMs）能力的提升，其潜在的双重用途也随之增加。为了减少有害输出，LLMs的生产者和供应商采用了基于人类反馈的强化学习（RLHF）。然而，微调的能力使得攻击者能够通过少量示例去除RLHF保护。本文展示了微调可以在仅使用340个示例的情况下，以95%的成功率去除GPT-4的RLHF保护。此外，去除RLHF保护并未降低非审查输出的有效性，表明我们的微调策略在生成训练数据时并未降低有效性。我们的研究结果显示了对LLMs保护机制进一步研究的必要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（如GPT-4）在微调过程中RLHF保护机制被去除的问题。现有方法未能有效防止这种攻击，导致模型输出潜在的有害内容。

核心思路：论文的核心思路是通过微调策略，利用少量示例去除RLHF保护，同时保持模型的有效性。通过自动生成训练示例，降低了攻击门槛。

技术框架：整体架构包括数据生成、微调过程和效果评估三个主要模块。首先，使用较弱的模型自动生成训练示例；其次，对GPT-4进行微调；最后，评估去除保护后的模型输出效果。

关键创新：最重要的技术创新在于展示了微调可以在极少示例下有效去除RLHF保护，这与以往认为强模型不易受到微调攻击的观点形成鲜明对比。

关键设计：在微调过程中，采用了特定的损失函数和参数设置，以确保在去除RLHF保护的同时，非审查输出的有效性不受影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用340个示例即可以95%的成功率去除GPT-4的RLHF保护，且去除保护后模型的非审查输出有效性未受影响。这一发现强调了对LLMs保护机制进一步研究的必要性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估和保护机制的设计。通过深入理解微调对RLHF保护的影响，研究人员可以开发出更为稳健的保护措施，以防止模型被恶意利用，确保其在实际应用中的安全性和可靠性。

📄 摘要（原文）

As large language models (LLMs) have increased in their capabilities, so does their potential for dual use. To reduce harmful outputs, produces and vendors of LLMs have used reinforcement learning with human feedback (RLHF). In tandem, LLM vendors have been increasingly enabling fine-tuning of their most powerful models. However, concurrent work has shown that fine-tuning can remove RLHF protections. We may expect that the most powerful models currently available (GPT-4) are less susceptible to fine-tuning attacks. In this work, we show the contrary: fine-tuning allows attackers to remove RLHF protections with as few as 340 examples and a 95% success rate. These training examples can be automatically generated with weaker models. We further show that removing RLHF protections does not decrease usefulness on non-censored outputs, providing evidence that our fine-tuning strategy does not decrease usefulness despite using weaker models to generate training data. Our results show the need for further research on protections on LLMs.