RTP-LX: Can LLMs Evaluate Toxicity in Multilingual Scenarios?

📄 arXiv: 2404.14397v2 📥 PDF

作者: Adrian de Wynter, Ishaan Watts, Tua Wongsangaroonsri, Minghui Zhang, Noura Farra, Nektar Ege Altıntoprak, Lena Baur, Samantha Claudet, Pavel Gajdusek, Can Gören, Qilong Gu, Anna Kaminska, Tomasz Kaminski, Ruby Kuo, Akiko Kyuba, Jongho Lee, Kartik Mathur, Petter Merok, Ivana Milovanović, Nani Paananen, Vesa-Matti Paananen, Anna Pavlenko, Bruno Pereira Vidal, Luciano Strika, Yueh Tsao, Davide Turcato, Oleksandr Vakhno, Judit Velcsov, Anna Vickers, Stéphanie Visser, Herdyan Widarmanto, Andrey Zaikin, Si-Qing Chen

分类: cs.CL, cs.CY, cs.LG

发布日期: 2024-04-22 (更新: 2024-12-16)

备注: AAAI 2025--camera ready + extended abstract

DOI: 10.1609/aaai.v39i27.35011

💡 一句话要点

提出RTP-LX以解决多语言环境下的有害内容检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 有害内容检测 语料库构建 文化特异性 上下文理解 人工注释 安全性评估

📋 核心要点

  1. 现有的多语言模型在检测有害内容时面临文化特异性和上下文依赖性的问题，导致准确性不足。
  2. 本文提出RTP-LX语料库，旨在通过参与式设计收集多语言的有害提示和输出，以提高检测能力。
  3. 实验结果显示，尽管模型在准确性上表现良好，但在与人类评审一致性和上下文理解上存在明显不足。

📝 摘要（中文）

大型语言模型（LLMs）和小型语言模型（SLMs）的快速应用引发了安全性问题。为此，本文引入了RTP-LX，一个包含28种语言的人工转译和注释的有害提示及输出语料库。RTP-LX遵循参与式设计，部分语料专门用于检测文化特定的有害语言。我们评估了10个S/LLMs在多语言环境中检测有害内容的能力，发现尽管准确率尚可，但与人类评审在整体毒性评分上存在低一致性，尤其在上下文依赖的场景中难以识别微妙的有害内容。我们发布该数据集以减少模型的有害使用并改善其安全部署。

🔬 方法详解

问题定义：本文旨在解决多语言环境下大型语言模型对有害内容检测的不足，现有方法在文化特异性和上下文理解上存在显著挑战。

核心思路：通过构建RTP-LX语料库，结合人工转译和注释，提供多语言的有害内容示例，以增强模型的检测能力。

技术框架：RTP-LX语料库由28种语言的有害提示和输出组成，采用参与式设计，包含文化特定的内容，评估10个S/LLMs的检测能力。

关键创新：RTP-LX的设计强调文化特异性和上下文依赖性，填补了现有多语言模型在有害内容检测方面的空白。

关键设计：语料库的构建过程中，采用了多样化的提示设计和人类注释，以确保数据的代表性和准确性，同时关注微妙的有害内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管10个S/LLMs在准确性上表现良好，通常达到可接受的水平，但与人类评审在毒性评分上的一致性较低，尤其在处理微妙的有害内容时表现不佳。这表明现有模型在文化敏感性和上下文理解方面仍需改进。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线评论系统和内容审核工具，能够有效识别和减少有害内容的传播，提升用户体验和安全性。未来，RTP-LX有望成为多语言模型安全性评估的标准数据集，推动相关技术的发展。

📄 摘要（原文）

Large language models (LLMs) and small language models (SLMs) are being adopted at remarkable speed, although their safety still remains a serious concern. With the advent of multilingual S/LLMs, the question now becomes a matter of scale: can we expand multilingual safety evaluations of these models with the same velocity at which they are deployed? To this end, we introduce RTP-LX, a human-transcreated and human-annotated corpus of toxic prompts and outputs in 28 languages. RTP-LX follows participatory design practices, and a portion of the corpus is especially designed to detect culturally-specific toxic language. We evaluate 10 S/LLMs on their ability to detect toxic content in a culturally-sensitive, multilingual scenario. We find that, although they typically score acceptably in terms of accuracy, they have low agreement with human judges when scoring holistically the toxicity of a prompt; and have difficulty discerning harm in context-dependent scenarios, particularly with subtle-yet-harmful content (e.g. microaggressions, bias). We release this dataset to contribute to further reduce harmful uses of these models and improve their safe deployment.