Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans

📄 arXiv: 2401.08495v2 📥 PDF

作者: Messi H. J. Lee, Jacob M. Montgomery, Calvin K. Lai

分类: cs.CL

发布日期: 2024-01-16 (更新: 2024-04-26)

备注: Forthcoming at ACM Conference on Fairness, Accountability, and Transparency (FAccT) 2024

DOI: 10.1145/3630106.3658975

💡 一句话要点

探讨大型语言模型对社会弱势群体的偏见表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会偏见 同质化 刻板印象 人工智能伦理 文本生成 多样性

📋 核心要点

  1. 现有研究主要集中在大型语言模型对社会群体与刻板印象属性的关联，未能全面揭示其可能重现的其他偏见形式。
  2. 本文通过分析ChatGPT生成的文本，探讨其在描述社会弱势群体时的同质化倾向，揭示了模型的潜在偏见。
  3. 实验结果显示，ChatGPT对不同种族和性别群体的描绘存在显著差异，尤其是对非裔和西班牙裔美国人的同质化表现更为明显。

📝 摘要（中文）

大型语言模型（LLMs）在日常生活中越来越普遍，但其重现训练数据中固有偏见的倾向仍然是一个紧迫的问题。本文研究了一种新形式的偏见，即社会弱势群体被视为比社会主导群体更为同质化的现象。通过对ChatGPT生成的文本进行分析，发现其对非裔、亚裔和西班牙裔美国人描绘得比白人美国人更为同质化，表明模型对种族少数群体的描述范围较窄。此外，ChatGPT对女性的描绘也显示出同质化趋势，但差异较小。研究结果表明，LLMs倾向于将群体描述为不够多样化，可能会延续刻板印象和歧视行为。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在描述社会弱势群体时表现出的同质化偏见问题。现有研究多集中于刻板印象，未能深入探讨其他形式的社会偏见。

核心思路：通过对ChatGPT生成的文本进行分析，比较不同种族和性别群体的同质化程度，揭示模型在描述这些群体时的偏见表现。

技术框架：研究采用定量分析方法，首先生成关于交叉群体身份的文本，然后通过同质化指标对文本进行比较，分析不同群体的表现差异。

关键创新：本文首次系统性地探讨了大型语言模型在描述社会群体时的同质化偏见，填补了现有研究的空白，提供了新的视角。

关键设计：在实验中，采用了多种文本生成和分析方法，确保了对不同群体的比较具有统计学意义，使用了特定的同质化测量指标来量化模型输出的多样性。

📊 实验亮点

实验结果表明，ChatGPT对非裔、亚裔和西班牙裔美国人的描绘显著更为同质化，相较于白人美国人，其同质化程度更高。对女性的描绘同样显示出同质化趋势，但差异较小。此研究揭示了LLMs在群体描述中的潜在偏见，强调了对模型输出的审慎评估。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、人工智能伦理以及大型语言模型的开发与优化。通过识别和纠正模型中的偏见，可以提高其在多样性和包容性方面的表现，从而减少对社会弱势群体的误解和歧视。未来，这一研究可能推动更公平的AI系统设计。

📄 摘要（原文）

Large language models (LLMs) are becoming pervasive in everyday life, yet their propensity to reproduce biases inherited from training data remains a pressing concern. Prior investigations into bias in LLMs have focused on the association of social groups with stereotypical attributes. However, this is only one form of human bias such systems may reproduce. We investigate a new form of bias in LLMs that resembles a social psychological phenomenon where socially subordinate groups are perceived as more homogeneous than socially dominant groups. We had ChatGPT, a state-of-the-art LLM, generate texts about intersectional group identities and compared those texts on measures of homogeneity. We consistently found that ChatGPT portrayed African, Asian, and Hispanic Americans as more homogeneous than White Americans, indicating that the model described racial minority groups with a narrower range of human experience. ChatGPT also portrayed women as more homogeneous than men, but these differences were small. Finally, we found that the effect of gender differed across racial/ethnic groups such that the effect of gender was consistent within African and Hispanic Americans but not within Asian and White Americans. We argue that the tendency of LLMs to describe groups as less diverse risks perpetuating stereotypes and discriminatory behavior.