I Am Not Them: Fluid Identities and Persistent Out-group Bias in Large Language Models
作者: Wenchao Dong, Assem Zhunis, Hyojin Chin, Jiyoung Han, Meeyoung Cha
分类: cs.CL
发布日期: 2024-02-16
💡 一句话要点
探讨大型语言模型中的文化偏见及其影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文化偏见 大型语言模型 个体主义 集体主义 提示工程 社会身份 自然语言处理
📋 核心要点
- 现有大型语言模型在处理文化偏见时存在明显的个体主义与集体主义倾向，导致对外群体的负面情绪。
- 论文通过对ChatGPT进行角色设定，探讨其在不同语言中的文化偏见表现，提出了通过提示工程减轻偏见的思路。
- 实验结果显示，ChatGPT在特定社会身份下对外群体的负面情绪超过对内群体的积极情感，且在政治领域的实验结果一致。
📝 摘要（中文）
本研究探讨了ChatGPT在三种西方语言（英语、德语和法语）与三种东方语言（中文、日语和韩语）中的文化偏见，特别是个体主义与集体主义的对比。当ChatGPT在西方语言中采用个体主义角色时，其对集体主义的评分呈现出更负面的趋势，反之亦然。研究表明，ChatGPT在特定社会身份下能够区分内群体与外群体，倾向于接受内群体价值而拒绝外群体价值。此外，研究还揭示了大型语言模型中的内在民主偏见，并提供了通过提示工程减轻这种偏见的见解。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型（LLMs）在文化偏见方面的表现不均衡问题，尤其是个体主义与集体主义的偏见表现。现有方法未能有效识别和减轻这些偏见，导致模型在不同文化背景下的表现不一致。
核心思路：论文通过赋予ChatGPT不同的社会身份角色，探讨其在不同语言中的文化偏见表现，旨在揭示模型如何在个体主义与集体主义之间切换，并分析其对外群体的态度。
技术框架：研究设计了一个实验框架，首先对ChatGPT进行角色设定，然后在不同语言环境中进行测试，最后通过对比分析其对内外群体的反应，评估文化偏见的表现。
关键创新：本研究的创新在于揭示了大型语言模型在特定社会身份下的偏见表现，特别是外群体偏见的强度超过内群体偏见的现象，这一发现为理解和改善模型的公平性提供了新视角。
关键设计：实验中使用了多种超参数和角色设定方法，进行了广泛的鲁棒性检查，确保结果的可靠性。研究还探讨了在不同语言模型中应用社会身份标签的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当ChatGPT采用个体主义角色时，其对集体主义的评分显著降低，反之亦然。在政治领域的实验中，结果保持一致，进一步验证了模型的内在民主偏见。这些发现为提示工程提供了重要的改进方向。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、社交媒体分析和人机交互等。通过理解和减轻语言模型中的文化偏见，可以提升模型在多元文化环境中的适应性和公平性，促进更为包容的人工智能系统的开发。
📄 摘要（原文）
We explored cultural biases-individualism vs. collectivism-in ChatGPT across three Western languages (i.e., English, German, and French) and three Eastern languages (i.e., Chinese, Japanese, and Korean). When ChatGPT adopted an individualistic persona in Western languages, its collectivism scores (i.e., out-group values) exhibited a more negative trend, surpassing their positive orientation towards individualism (i.e., in-group values). Conversely, when a collectivistic persona was assigned to ChatGPT in Eastern languages, a similar pattern emerged with more negative responses toward individualism (i.e., out-group values) as compared to collectivism (i.e., in-group values). The results indicate that when imbued with a particular social identity, ChatGPT discerns in-group and out-group, embracing in-group values while eschewing out-group values. Notably, the negativity towards the out-group, from which prejudices and discrimination arise, exceeded the positivity towards the in-group. The experiment was replicated in the political domain, and the results remained consistent. Furthermore, this replication unveiled an intrinsic Democratic bias in Large Language Models (LLMs), aligning with earlier findings and providing integral insights into mitigating such bias through prompt engineering. Extensive robustness checks were performed using varying hyperparameter and persona setup methods, with or without social identity labels, across other popular language models.