JADE: A Linguistics-based Safety Evaluation Platform for Large Language Models

📄 arXiv: 2311.00286v3 📥 PDF

作者: Mi Zhang, Xudong Pan, Min Yang

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2023-11-01 (更新: 2023-12-10)

备注: A preprint work. Benchmark link: https://github.com/whitzard-ai/jade-db. Website link: https://whitzard-ai.github.io/jade.html

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出JADE平台以评估大型语言模型的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 安全评估 生成语法 自然语言处理 有害内容识别 风险评估 对话系统 AI安全

📋 核心要点

  1. 现有的语言模型在识别复杂的有害生成内容方面存在显著不足，尤其是在面对多样化的句法结构时。
  2. JADE通过变换生成语法理论，利用生成和变换规则增强种子问题的复杂性，从而有效突破语言模型的安全防护。
  3. 实验结果显示，JADE生成的问题在多个LLMs中平均不安全生成比例达到70%，显著提高了对模型安全性的评估能力。

📝 摘要（中文）

本文提出了JADE，一个基于语言学的安全评估平台，旨在通过增强种子问题的语言复杂性，针对性地测试多种大型语言模型（LLMs）的安全性。JADE生成了三个安全基准，涵盖八个开源中文、六个商业中文和四个商业英文LLMs，平均不安全生成比例达到70%。该平台基于乔姆斯基的变换生成语法理论，通过生成和变换规则自动增加问题的句法复杂性，直至突破安全防护。我们还提供了商业英文和开源英文LLMs生成的基准演示，供感兴趣的读者进一步评估。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在识别复杂有害内容时的不足，尤其是面对多样化句法结构时的识别能力不足。现有方法未能有效覆盖无限的句法变体，导致安全防护失效。

核心思路：JADE的核心思路是基于乔姆斯基的变换生成语法理论，通过生成和变换规则增强种子问题的句法复杂性，直至突破模型的安全防护。此设计利用了人类语言的复杂性，使得模型难以识别潜在的有害意图。

技术框架：JADE的整体架构包括三个主要模块：种子问题输入模块、生成与变换规则模块和安全性评估模块。首先，输入种子问题，然后通过生成与变换规则逐步增加句法复杂性，最后评估生成问题的安全性。

关键创新：JADE的关键创新在于其基于语言学的生成与变换规则，这些规则由母语者构建，能够自动化地扩展和变换句法树，突破现有模型的安全防护。这与传统的基于静态数据集的测试方法本质上不同。

关键设计：JADE的设计包括对生成和变换规则的精细调控，确保生成的问题既自然流畅又保留核心的有害语义。此外，模型的评估标准基于不安全生成比例，确保评估结果的有效性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JADE生成的问题在多个大型语言模型中平均不安全生成比例达到70%。这一结果显著高于传统评估方法，展示了JADE在识别复杂有害内容方面的有效性和优势。

🎯 应用场景

JADE平台在多个领域具有潜在应用价值，包括大型语言模型的安全性测试、自然语言处理系统的风险评估以及对话系统的安全防护。通过识别和评估潜在的有害生成内容，JADE能够帮助开发者改进模型的安全性，降低误用风险，推动安全AI的发展。

📄 摘要（原文）

In this paper, we present JADE, a targeted linguistic fuzzing platform which strengthens the linguistic complexity of seed questions to simultaneously and consistently break a wide range of widely-used LLMs categorized in three groups: eight open-sourced Chinese, six commercial Chinese and four commercial English LLMs. JADE generates three safety benchmarks for the three groups of LLMs, which contain unsafe questions that are highly threatening: the questions simultaneously trigger harmful generation of multiple LLMs, with an average unsafe generation ratio of $70\%$ (please see the table below), while are still natural questions, fluent and preserving the core unsafe semantics. We release the benchmark demos generated for commercial English LLMs and open-sourced English LLMs in the following link: https://github.com/whitzard-ai/jade-db. For readers who are interested in evaluating on more questions generated by JADE, please contact us. JADE is based on Noam Chomsky's seminal theory of transformational-generative grammar. Given a seed question with unsafe intention, JADE invokes a sequence of generative and transformational rules to increment the complexity of the syntactic structure of the original question, until the safety guardrail is broken. Our key insight is: Due to the complexity of human language, most of the current best LLMs can hardly recognize the invariant evil from the infinite number of different syntactic structures which form an unbound example space that can never be fully covered. Technically, the generative/transformative rules are constructed by native speakers of the languages, and, once developed, can be used to automatically grow and transform the parse tree of a given question, until the guardrail is broken. For more evaluation results and demo, please check our website: https://whitzard-ai.github.io/jade.html.