Towards Auditing Large Language Models: Improving Text-based Stereotype Detection

📄 arXiv: 2311.14126v1 📥 PDF

作者: Wu Zekun, Sahan Bulathwela, Adriano Soares Koshiyama

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2023-11-23

备注: 2023 NeurIPS SoLaR Workshop Accepted

💡 一句话要点

提出多粒度刻板印象数据集以改善文本刻板印象检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 刻板印象检测 多粒度数据集 可解释人工智能 社会偏见

📋 核心要点

  1. 现有大型语言模型在生成文本时常常继承历史数据中的刻板印象，导致社会偏见的放大和伦理问题。
  2. 本文提出了多粒度刻板印象数据集和一种新型的刻板印象分类器，旨在提高对文本中刻板印象的检测能力。
  3. 实验结果显示，采用多类设置的模型在性能上优于传统的一对多二元分类方法，且新模型有效利用了文本特征。

📝 摘要（中文）

大型语言模型（LLM）在人工智能应用中取得了显著进展，但常常生成继承自历史数据的刻板印象输出，放大社会偏见并引发伦理问题。本文提出了多粒度刻板印象数据集，包含52,751个性别、种族、职业和宗教刻板印象文本实例，以及一种新颖的英语文本刻板印象分类器。通过多类设置训练模型，实验结果表明其性能优于一对多的二元分类方法。不同可解释人工智能工具的一致特征重要性信号表明新模型有效利用了相关文本特征。我们利用新模型评估流行的GPT系列模型的刻板印象行为，并观察到偏见随时间的减少。总之，本研究建立了一个稳健且实用的框架，用于审计和评估LLM中的刻板印象偏见。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本时所表现出的刻板印象问题。现有方法往往无法有效识别和减少这些偏见，导致社会伦理问题的加剧。

核心思路：通过构建多粒度刻板印象数据集和设计新型分类器，论文提出了一种多类分类方法，以更全面地检测文本中的刻板印象。这样的设计能够更好地捕捉文本中的复杂特征。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。首先，构建包含多种刻板印象的文本数据集；其次，训练新型分类器以识别这些刻板印象；最后，利用可解释AI工具评估模型性能。

关键创新：最重要的创新点在于提出了多粒度刻板印象数据集和多类分类器，这与现有的二元分类方法有本质区别，能够更全面地捕捉和分析文本中的刻板印象。

关键设计：在模型设计中，采用了特定的损失函数以优化多类分类性能，并通过不同的可解释AI工具分析特征重要性，确保模型能够有效利用文本中的相关特征。

📊 实验亮点

实验结果表明，采用多类设置的模型在刻板印象检测任务中表现优异，相较于传统一对多二元分类方法，性能提升显著。具体而言，新模型在多个评估指标上均表现出更高的准确性和鲁棒性，显示出其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、自动化文本生成和教育领域等。通过提供一种有效的刻板印象检测工具，能够帮助开发者和研究人员更好地理解和减少AI系统中的偏见，从而提升人工智能应用的伦理性和社会责任感。

📄 摘要（原文）

Large Language Models (LLM) have made significant advances in the recent past becoming more mainstream in Artificial Intelligence (AI) enabled human-facing applications. However, LLMs often generate stereotypical output inherited from historical data, amplifying societal biases and raising ethical concerns. This work introduces i) the Multi-Grain Stereotype Dataset, which includes 52,751 instances of gender, race, profession and religion stereotypic text and ii) a novel stereotype classifier for English text. We design several experiments to rigorously test the proposed model trained on the novel dataset. Our experiments show that training the model in a multi-class setting can outperform the one-vs-all binary counterpart. Consistent feature importance signals from different eXplainable AI tools demonstrate that the new model exploits relevant text features. We utilise the newly created model to assess the stereotypic behaviour of the popular GPT family of models and observe the reduction of bias over time. In summary, our work establishes a robust and practical framework for auditing and evaluating the stereotypic bias in LLM.