AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts

📄 arXiv: 2404.05993v2 📥 PDF

作者: Shaona Ghosh, Prasoon Varshney, Erick Galinkin, Christopher Parisien

分类: cs.LG, cs.CL, cs.CY

发布日期: 2024-04-09 (更新: 2024-09-11)

💡 一句话要点

提出AEGIS以解决生成AI内容安全风险问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 内容安全 大型语言模型 生成AI 数据集构建 在线适应

📋 核心要点

  1. 现有的内容安全数据集不足以全面覆盖生成AI的安全风险，导致模型在实际应用中面临挑战。
  2. 本文提出了AEGISSAFETYDATASET数据集，并通过指令调优构建了AEGISSAFETYEXPERTS模型，以提升内容安全性。
  3. 实验结果显示，AEGISSAFETYEXPERTS模型在多个监测攻击类别中表现优异，且在性能上与现有最优模型相当。

📝 摘要（中文）

随着大型语言模型（LLMs）和生成AI的广泛应用，内容安全风险也随之增加。现有的内容安全数据集和基准测试存在显著不足，未能全面覆盖关键安全领域。为此，本文定义了一个广泛的内容安全风险分类法，包括13个关键风险和9个稀疏风险类别，并构建了AEGISSAFETYDATASET，这是一个包含约26,000个人工-LLM交互实例的新数据集，附有符合分类法的人类注释。通过对多个基于LLM的安全模型进行指令调优，实验结果表明，AEGISSAFETYEXPERTS模型在多个监测攻击类别中表现出色，且在LLM对齐阶段使用AEGISSAFETYDATASET不会对模型性能产生负面影响。此外，本文提出了AEGIS，一个基于无悔在线适应框架的新应用，用于在部署中执行内容审核。

🔬 方法详解

问题定义：本文旨在解决生成AI内容安全风险的不足，现有方法缺乏高质量的数据集和基准测试，导致模型在安全性方面的表现不佳。

核心思路：通过定义全面的内容安全风险分类法，并构建AEGISSAFETYDATASET数据集，提供丰富的标注数据以支持模型的训练和评估，从而提升内容安全性。

技术框架：整体架构包括数据集构建、模型训练和在线适应三个主要模块。数据集提供多样化的交互实例，模型通过指令调优进行训练，最后通过AEGIS框架实现在线内容审核。

关键创新：最重要的创新在于提出了一个无悔在线适应框架AEGIS，能够在实际部署中灵活调整模型，确保内容审核的有效性和安全性。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型在多种攻击类别下的鲁棒性，同时保持对齐模型在MT Bench评分上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AEGISSAFETYEXPERTS模型在多个监测攻击类别中表现优异，超越或与现有最优模型竞争，且在MT Bench评分上未受到负面影响，展示了其在内容安全审核中的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线内容生成工具和任何需要内容审核的生成AI应用。通过提供高质量的安全数据集和模型，能够有效降低生成内容的安全风险，提升用户体验和平台安全性。

📄 摘要（原文）

As Large Language Models (LLMs) and generative AI become more widespread, the content safety risks associated with their use also increase. We find a notable deficiency in high-quality content safety datasets and benchmarks that comprehensively cover a wide range of critical safety areas. To address this, we define a broad content safety risk taxonomy, comprising 13 critical risk and 9 sparse risk categories. Additionally, we curate AEGISSAFETYDATASET, a new dataset of approximately 26, 000 human-LLM interaction instances, complete with human annotations adhering to the taxonomy. We plan to release this dataset to the community to further research and to help benchmark LLM models for safety. To demonstrate the effectiveness of the dataset, we instruction-tune multiple LLM-based safety models. We show that our models (named AEGISSAFETYEXPERTS), not only surpass or perform competitively with the state-of-the-art LLM-based safety models and general purpose LLMs, but also exhibit robustness across multiple jail-break attack categories. We also show how using AEGISSAFETYDATASET during the LLM alignment phase does not negatively impact the performance of the aligned models on MT Bench scores. Furthermore, we propose AEGIS, a novel application of a no-regret online adaptation framework with strong theoretical guarantees, to perform content moderation with an ensemble of LLM content safety experts in deployment