Angry Men, Sad Women: Large Language Models Reflect Gendered Stereotypes in Emotion Attribution
作者: Flor Miriam Plaza-del-Arco, Amanda Cercas Curry, Alba Curry, Gavin Abercrombie, Dirk Hovy
分类: cs.CL
发布日期: 2024-03-05 (更新: 2024-05-28)
备注: Accepted to ACL 2024
💡 一句话要点
研究大型语言模型中的性别情感归属问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 性别偏见 情感分析 社会刻板印象 自然语言处理 心理学研究
📋 核心要点
- 现有研究在情感分析领域对性别偏见的探讨不足，缺乏系统性研究。
- 本文通过对五种先进的LLMs进行实验，探讨性别与情感之间的关系，填补这一研究空白。
- 研究结果显示，所有模型均表现出性别化情感，验证了社会刻板印象对情感归属的影响。
📝 摘要（中文）
大型语言模型（LLMs）反映了社会规范和偏见，尤其是关于性别的偏见。尽管社会偏见和刻板印象在各种自然语言处理应用中得到了广泛研究，但情感分析领域却存在明显的研究空白。本文首次全面研究了五种先进LLMs中的性别化情感归属，探讨情感是否具有性别特征，以及这些变化是否基于社会刻板印象。研究发现，所有模型一致展现出受性别刻板印象影响的性别化情感。这些发现与心理学和性别研究的既有研究相一致，揭示了语言、性别与情感之间复杂的社会互动关系。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在情感分析中反映性别刻板印象的问题。现有方法未能充分探讨情感与性别之间的关系，导致情感分析的偏见未被识别。
核心思路：通过提示模型采用性别化角色，并将情感归属应用于特定事件，研究情感是否受到性别刻板印象的影响。这样的设计有助于揭示模型生成情感的潜在偏见。
技术框架：研究采用了五种先进的LLMs，分别为开放源代码和闭源模型。通过设计特定的提示，模型生成与性别-事件配对相关的情感，并进行分析。
关键创新：本研究的创新在于首次系统性地分析了大型语言模型中的性别化情感归属，填补了情感分析领域的研究空白，揭示了模型如何反映社会性别刻板印象。
关键设计：在实验中，模型的提示设计至关重要，确保能够有效引导模型生成与性别相关的情感。此外，研究还考虑了不同模型在情感生成中的一致性和差异性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有五种大型语言模型在情感生成中均表现出明显的性别化倾向，且这些情感归属与社会刻板印象高度一致。这一发现为情感分析领域提供了新的视角，并引发了对模型应用的伦理讨论。
🎯 应用场景
该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等。通过理解大型语言模型中的性别偏见，研究可以帮助开发更公平的情感分析工具，减少社会偏见在技术中的传播，促进性别平等的实现。
📄 摘要（原文）
Large language models (LLMs) reflect societal norms and biases, especially about gender. While societal biases and stereotypes have been extensively researched in various NLP applications, there is a surprising gap for emotion analysis. However, emotion and gender are closely linked in societal discourse. E.g., women are often thought of as more empathetic, while men's anger is more socially accepted. To fill this gap, we present the first comprehensive study of gendered emotion attribution in five state-of-the-art LLMs (open- and closed-source). We investigate whether emotions are gendered, and whether these variations are based on societal stereotypes. We prompt the models to adopt a gendered persona and attribute emotions to an event like 'When I had a serious argument with a dear person'. We then analyze the emotions generated by the models in relation to the gender-event pairs. We find that all models consistently exhibit gendered emotions, influenced by gender stereotypes. These findings are in line with established research in psychology and gender studies. Our study sheds light on the complex societal interplay between language, gender, and emotion. The reproduction of emotion stereotypes in LLMs allows us to use those models to study the topic in detail, but raises questions about the predictive use of those same LLMs for emotion applications.