Curiosity-driven Red-teaming for Large Language Models

📄 arXiv: 2402.19464v1 📥 PDF

作者: Zhang-Wei Hong, Idan Shenfeld, Tsun-Hsuan Wang, Yung-Sung Chuang, Aldo Pareja, James Glass, Akash Srivastava, Pulkit Agrawal

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-29

备注: Published at ICLR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出好奇驱动的红队方法以提升语言模型测试覆盖率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 红队测试 自动化测试 好奇驱动 强化学习 内容安全 测试覆盖率

📋 核心要点

  1. 现有的红队测试方法依赖人类测试者，成本高且效率低，难以覆盖所有可能的输入提示。
  2. 本文提出的好奇驱动红队方法（CRT）通过优化新颖性，增加生成测试用例的覆盖率，提升测试效率。
  3. 实验结果显示，CRT方法在引发有害响应方面表现优异，覆盖率和有效性均优于现有方法。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言应用中具有巨大潜力，但存在生成错误或有害内容的风险。当前的测试方法依赖人类测试者设计输入提示以引发不良响应，然而这种方式成本高且耗时。为了解决这一问题，本文提出了一种好奇驱动的红队方法（CRT），通过优化新颖性来增加生成测试用例的覆盖率，同时保持或提高其有效性。实验表明，该方法成功引发了经过人类偏好微调的LLaMA2模型的有害响应，展示了其在自动化测试中的有效性。

🔬 方法详解

问题定义：本文旨在解决现有红队测试方法在生成有效测试用例时覆盖率低的问题。传统方法依赖人类设计输入提示，导致测试范围有限且效率低下。

核心思路：论文提出的好奇驱动红队方法（CRT）通过引入新颖性优化，增加生成测试用例的多样性，从而提高覆盖率和有效性。该方法借鉴了好奇心驱动的探索策略，旨在自动生成更多有效的测试用例。

技术框架：CRT的整体架构包括两个主要模块：首先是生成模块，利用强化学习生成多样化的测试用例；其次是评估模块，评估生成的用例对目标LLM的影响，确保其有效性。

关键创新：CRT的核心创新在于将好奇心驱动的探索方法应用于红队测试，显著提高了生成测试用例的覆盖率和有效性。这一方法与传统的依赖人类设计的方式本质上不同，能够自动化生成更多样化的测试用例。

关键设计：在实现过程中，CRT使用了特定的损失函数来优化生成的测试用例的多样性，并通过强化学习算法调整生成策略，以确保生成的用例能够有效引发目标模型的有害响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CRT方法在引发有害响应方面表现优异，成功地从经过人类偏好微调的LLaMA2模型中引发了多种不良输出。与现有方法相比，CRT在测试用例的覆盖率和有效性上均有显著提升，展示了其在自动化红队测试中的潜力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性测试、内容审核和自动化测试系统。通过提高测试覆盖率，CRT方法能够帮助开发者更好地识别和修复模型中的潜在问题，从而提升模型的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) hold great potential for many natural language applications but risk generating incorrect or toxic content. To probe when an LLM generates unwanted content, the current paradigm is to recruit a \textit{red team} of human testers to design input prompts (i.e., test cases) that elicit undesirable responses from LLMs. However, relying solely on human testers is expensive and time-consuming. Recent works automate red teaming by training a separate red team LLM with reinforcement learning (RL) to generate test cases that maximize the chance of eliciting undesirable responses from the target LLM. However, current RL methods are only able to generate a small number of effective test cases resulting in a low coverage of the span of prompts that elicit undesirable responses from the target LLM. To overcome this limitation, we draw a connection between the problem of increasing the coverage of generated test cases and the well-studied approach of curiosity-driven exploration that optimizes for novelty. Our method of curiosity-driven red teaming (CRT) achieves greater coverage of test cases while mantaining or increasing their effectiveness compared to existing methods. Our method, CRT successfully provokes toxic responses from LLaMA2 model that has been heavily fine-tuned using human preferences to avoid toxic outputs. Code is available at \url{https://github.com/Improbable-AI/curiosity_redteam}