A Chinese Dataset for Evaluating the Safeguards in Large Language Models

📄 arXiv: 2402.12193v3 📥 PDF

作者: Yuxia Wang, Zenan Zhai, Haonan Li, Xudong Han, Lizhi Lin, Zhenxuan Zhang, Jingru Zhao, Preslav Nakov, Timothy Baldwin

分类: cs.CL

发布日期: 2024-02-19 (更新: 2024-08-04)

备注: 14 pages

期刊: ACL2024-Findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出中文数据集以评估大型语言模型的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全评估 中文数据集 风险识别 人工智能安全 自然语言处理 假阴性 假阳性

📋 核心要点

  1. 现有研究主要集中在英语，缺乏针对中文及其他语言的安全评估数据集，导致对风险的理解不足。
  2. 本文提出了一个中文数据集，用于评估LLMs的安全性，并扩展到其他场景以识别风险提示的假阴性和假阳性。
  3. 实验结果表明，区域特定风险是中文LLMs的主要风险类型，强调了对安全机制的进一步研究需求。

📝 摘要（中文）

许多研究表明，大型语言模型（LLMs）可能产生有害响应，给用户带来意外风险。以往研究主要集中在英语，针对其他语言的探索较少。本文旨在填补这一空白，首先介绍了用于评估中文LLMs安全性的数据集，并扩展到其他场景，以更好地识别风险提示拒绝中的假阴性和假阳性示例。我们还提出了一套针对每种风险类型的细粒度安全评估标准，便于手动标注和自动评估LLM响应的有害性。实验结果显示，区域特定风险是普遍存在的风险类型，成为我们实验的所有中文LLMs的主要问题。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在中文环境下的安全性评估问题。现有方法主要集中在英语，缺乏对其他语言的全面分析，导致对潜在风险的识别不足。

核心思路：我们提出了一个专门针对中文LLMs的安全评估数据集，并设计了一套细粒度的安全评估标准，以便更有效地识别和评估模型的有害响应。

技术框架：整体架构包括数据集构建、风险类型分类、手动标注和自动评估四个主要模块。数据集涵盖多种风险场景，确保评估的全面性和准确性。

关键创新：最重要的创新点在于首次为中文LLMs提供了系统的安全评估框架和数据集，填补了现有研究的空白，特别是在区域特定风险的识别上。

关键设计：在数据集构建过程中，我们设定了多种风险类型，并设计了相应的评估标准，确保能够有效区分假阴性和假阳性示例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，区域特定风险是中文LLMs的主要风险类型，所有实验的模型均表现出这一趋势。通过使用新数据集和评估标准，模型在识别有害响应方面的准确性得到了显著提升，具体性能数据尚未公开。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、人工智能安全和人机交互等。通过提供一个系统的评估框架，研究者和开发者可以更好地理解和改进中文LLMs的安全性，从而降低用户面临的风险，提升模型的可靠性与信任度。

📄 摘要（原文）

Many studies have demonstrated that large language models (LLMs) can produce harmful responses, exposing users to unexpected risks when LLMs are deployed. Previous studies have proposed comprehensive taxonomies of the risks posed by LLMs, as well as corresponding prompts that can be used to examine the safety mechanisms of LLMs. However, the focus has been almost exclusively on English, and little has been explored for other languages. Here we aim to bridge this gap. We first introduce a dataset for the safety evaluation of Chinese LLMs, and then extend it to two other scenarios that can be used to better identify false negative and false positive examples in terms of risky prompt rejections. We further present a set of fine-grained safety assessment criteria for each risk type, facilitating both manual annotation and automatic evaluation in terms of LLM response harmfulness. Our experiments on five LLMs show that region-specific risks are the prevalent type of risk, presenting the major issue with all Chinese LLMs we experimented with. Our data is available at https://github.com/Libr-AI/do-not-answer. Warning: this paper contains example data that may be offensive, harmful, or biased.