From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs
作者: Zihao Sun
分类: cs.CL
发布日期: 2026-11-02
备注: 10 pages. Author preprint; conference review ongoing
💡 一句话要点
提出多语言审计方法以检测大型语言模型中的刻板印象偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会偏见检测 多语言审计 刻板印象偏见 文化差异 数据集平衡 模型评估
📋 核心要点
- 现有的社会偏见检测方法主要集中于英语，忽视了多语言和文化背景的差异，导致偏见评估不全面。
- 本文提出了一种基于本地撰写数据的多语言审计方法，保留了语言的本地上下文，以更准确地检测偏见。
- 实验结果显示，宗教偏见在所有模型中均表现出最高的不平衡，且不同语言和文化背景下的偏见表现差异显著。
📝 摘要（中文）
大型语言模型（LLMs）在教育、招聘和决策支持等重要应用中越来越受到关注，因此在部署前进行社会偏见检测至关重要。然而，现有的主要基准测试集中于英语，且多关注负面刻板印象，可能忽视语言和文化的差异。本文通过分析12,000条本地撰写的Reddit帖子，研究了性别、种族和宗教偏见，涵盖英语、西班牙语、法语和德语。研究发现，宗教在所有模型和语言条件下的选择不平衡程度最高，西班牙语在性别偏见上表现最为突出，而德语则在种族和宗教偏见上表现最为显著。评估的API模型整体得分低于开放权重模型，且不同文化背景下的刻板印象表现差异明显，提示在部署前需进行更深入的审查。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多语言环境中存在的刻板印象偏见检测不足的问题。现有方法多集中于英语，且往往忽略了文化和语言的多样性，导致偏见评估的片面性。
核心思路：论文通过分析本地撰写的社交媒体数据，保留语言的本地上下文，提出了一种多语言审计方法，以全面评估性别、种族和宗教偏见。
技术框架：研究使用了12,000条本地撰写的Reddit帖子，涵盖英语、西班牙语、法语和德语。数据集在语言和类别上进行了平衡，采用了两空白设计以减少语法性别线索。
关键创新：最重要的创新在于通过本地数据的使用，能够更准确地反映不同文化背景下的偏见表现，避免了传统方法的局限性。
关键设计：在实验中，使用了三种开放权重模型和三种基于API的专有模型，评估过程中对选择不平衡的分析采用了特定的统计方法，以确保结果的可靠性。
📊 实验亮点
实验结果显示，在所有模型和语言条件下，宗教偏见的选择不平衡程度最高，西班牙语在性别偏见上表现最为突出，德语则在种族和宗教偏见上表现最为显著。评估的API模型整体得分低于开放权重模型，提示在不同文化背景下的偏见表现差异显著，需进行更深入的审查。
🎯 应用场景
该研究的潜在应用领域包括教育、招聘和决策支持等多个重要场景，能够帮助相关机构在使用大型语言模型时更好地识别和减少潜在的社会偏见，从而提高决策的公平性和准确性。未来，该方法有望推广至更多语言和文化背景的偏见检测中，促进更广泛的社会公平。
📄 摘要（原文）
Large language models (LLMs) are increasingly considered for education, recruitment, workplace decision support, and other consequential applications, making pre-deployment social-bias detection essential. Yet major benchmarks are English-centred or translated, focus mainly on negative stereotypes, and may miss linguistic and cultural variation. We investigate gender, racial, and religious bias using 12,000 locally written Reddit posts in English, Spanish, French, and German. Only search terms are translated, preserving local context. The dataset is balanced by language and category; English gender is additionally balanced by stereotype valence. Three open-weight and three proprietary API-based models are evaluated with a two-blank design that reduces grammatical-gender cues. Religion has the highest absolute choice imbalance in every model-language condition. Spanish is highest for gender, whereas German is highest for race and religion. The evaluated API models score below the open-weight models throughout. Negative English-gender items exceed positive items; Australian and Mexican contexts exceed their Canadian and Spanish counterparts. These descriptive differences measure choice concentration, not stereotype endorsement or causal country effects. The crossed patterns show how aggregate scores can conceal category- and context-specific behaviour, motivating closer inspection before deployment.