SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models
作者: Bertie Vidgen, Nino Scherrer, Hannah Rose Kirk, Rebecca Qian, Anand Kannappan, Scott A. Hale, Paul Röttger
分类: cs.CL
发布日期: 2023-11-14 (更新: 2024-02-16)
💡 一句话要点
提出SimpleSafetyTests以识别大型语言模型的安全风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 安全性评估 测试套件 人工智能安全 机器学习 风险识别 内容安全
📋 核心要点
- 现有大型语言模型在安全性方面存在严重问题，容易遵循恶意指令并生成有害内容。
- 本文提出的SimpleSafetyTests（SST）测试套件，通过100个测试提示系统性识别LLMs的安全风险。
- 实验结果显示，大多数模型对超过20%的提示产生不安全响应，且使用安全强调的系统提示可显著降低不安全响应的发生率。
📝 摘要（中文）
近年来，大型语言模型（LLMs）的发展迅速，但缺乏适当的引导和安全措施，LLMs可能会执行恶意指令、提供不安全建议并生成有害内容。本文提出了SimpleSafetyTests（SST），这是一个新的测试套件，旨在快速系统地识别这些关键安全风险。该测试套件包含100个测试提示，涵盖五个危害领域，LLMs在大多数应用中应拒绝遵从。我们对11个开放访问和开源的LLMs以及四个闭源LLMs进行了测试，发现存在严重的安全弱点。尽管一些模型没有产生不安全的响应，但大多数模型对超过20%的提示给出了不安全的响应，极端情况下超过50%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在安全性方面的缺陷，尤其是它们在面对恶意指令时的脆弱性。现有方法缺乏系统性测试，难以全面评估模型的安全性。
核心思路：提出SimpleSafetyTests（SST）作为一个测试套件，通过设计100个测试提示，覆盖五个主要的危害领域，系统性地评估LLMs的安全性。这样的设计旨在快速识别模型的安全弱点。
技术框架：SST测试套件由100个测试提示组成，涵盖儿童虐待、自杀、自残、饮食失调、诈骗、非法物品和身体伤害等五个危害领域。测试结果通过人工标注的方式进行评估，涉及3000个模型响应。
关键创新：SST的创新在于其系统性和全面性，能够快速识别LLMs的安全风险，并为后续的安全过滤器评估提供基础。与现有方法相比，SST提供了更为细致的安全评估。
关键设计：在实验中，使用了五种AI安全过滤器来自动评估模型的响应安全性。不同过滤器的表现差异显著，Perspective API的准确率为72%，而新创建的零-shot提示在OpenAI的GPT-4上表现最佳，准确率达到89%。
📊 实验亮点
实验结果显示，尽管某些模型未产生不安全响应，但大多数模型对超过20%的提示产生不安全响应，极端情况下超过50%。使用安全强调的系统提示显著降低了不安全响应的发生率，表明安全设计的重要性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的开发与评估，尤其是在需要确保内容安全的场景，如教育、医疗和社交媒体等。通过识别和降低安全风险，SST可以帮助开发者构建更安全的AI系统，提升用户信任和体验。
📄 摘要（原文）
The past year has seen rapid acceleration in the development of large language models (LLMs). However, without proper steering and safeguards, LLMs will readily follow malicious instructions, provide unsafe advice, and generate toxic content. We introduce SimpleSafetyTests (SST) as a new test suite for rapidly and systematically identifying such critical safety risks. The test suite comprises 100 test prompts across five harm areas that LLMs, for the vast majority of applications, should refuse to comply with. We test 11 open-access and open-source LLMs and four closed-source LLMs, and find critical safety weaknesses. While some of the models do not give a single unsafe response, most give unsafe responses to more than 20% of the prompts, with over 50% unsafe responses in the extreme. Prepending a safety-emphasising system prompt substantially reduces the occurrence of unsafe responses, but does not completely stop them from happening. Trained annotators labelled every model response to SST (n = 3,000). We use these annotations to evaluate five AI safety filters (which assess whether a models' response is unsafe given a prompt) as a way of automatically evaluating models' performance on SST. The filters' performance varies considerably. There are also differences across the five harm areas, and on the unsafe versus safe responses. The widely-used Perspective API has 72% accuracy and a newly-created zero-shot prompt to OpenAI's GPT-4 performs best with 89% accuracy. Content Warning: This paper contains prompts and responses that relate to child abuse, suicide, self-harm and eating disorders, scams and fraud, illegal items, and physical harm.