To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias
作者: Federico Marcuzzi, Xuefei Ning, Roy Schwartz, Iryna Gurevych
分类: cs.CL
发布日期: 2026-06-23
💡 一句话要点
提出统一框架以解决社交偏见评估方法碎片化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交偏见 评估方法 大型语言模型 比较设置 链式思维推理 标准化框架 模型公平性
📋 核心要点
- 现有的社交偏见评估方法存在广泛的碎片化，导致相互矛盾的结论，忽视了基准评估的结构性框架。
- 本文提出一个统一的框架，标准化不同的基准，以便系统性地对比孤立评估与比较设置，解决偏见评估中的混淆效应。
- 实验结果显示，比较设置会激活潜在的歧视，且链式思维推理在此过程中加剧了社会偏见，提示研究者需谨慎使用比较设置。
📝 摘要（中文）
随着大型语言模型在关键应用中的广泛部署，评估其社会偏见的有效性变得至关重要。然而，现有文献存在方法论碎片化的问题，导致结论相互矛盾。为了解决这一问题，本文提出了一个统一且可控的框架，标准化异质基准，以系统性地对比孤立的人口评估与强制选择的比较设置。研究发现，比较设置会激活潜在歧视，而链式思维推理在此过程中加剧了社会偏见。最终，本文提供了重要的方法论指导，强调在模糊的现实任务中，研究者应利用比较设置审计隐藏偏见，但从业者不能安全依赖这些设置。
🔬 方法详解
问题定义：本文要解决的问题是现有社交偏见评估方法的碎片化，导致评估结果不一致，且忽视了基准评估的结构性框架。
核心思路：论文提出了一个统一且可控的框架，通过标准化异质基准，系统性地对比孤立的人口评估与强制选择的比较设置，以消除混淆效应。
技术框架：整体架构包括数据收集、基准标准化、孤立评估与比较设置的对比分析，主要模块涵盖数据预处理、模型评估和结果分析。
关键创新：最重要的创新在于引入了一个统一的框架，使得不同评估方法可以在同一标准下进行比较，从而揭示了比较设置对潜在歧视的激活作用。
关键设计：在实验中，采用了多种模型家族进行评估，设置了中性备选项，并分析了链式思维推理对偏见激活的影响，确保了实验的系统性和可控性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，孤立评估限制了偏见的激活，而比较设置则显著促进了潜在歧视的表现。尤其是在使用链式思维推理时，偏见的激活更为明显，提示研究者在评估社交偏见时需谨慎选择评估方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、社交媒体内容审核和人工智能伦理等。通过提供一个标准化的评估框架，研究者和从业者可以更有效地识别和审计模型中的社会偏见，从而提升模型的公平性和透明度，推动更负责任的AI应用。
📄 摘要（原文）
As Large Language Models are increasingly deployed in critical applications, robustly evaluating their social biases is paramount. However, the current literature suffers from widespread methodological fragmentation, which yields contradictory conclusions. This stems largely from ignoring the structural framing of benchmark-level evaluations. To resolve this, we introduce a unified and controllable framework that standardizes heterogeneous benchmarks to systematically contrast isolated demographic assessments with forced-choice comparative settings. Crucially, this allows us to disentangle the confounding effects of Chain-of-Thought reasoning, neutral fallback options, and other structural artifacts in social bias evaluations. Our evaluation across multiple model families reveals a massive, systematic paradigm gap: while isolated assessments limit prejudice activation, comparative settings act as aggressive catalysts for latent discrimination, a shift primarily driven by underspecified contexts. Alarmingly, CoT reasoning exacerbates social biases under comparative settings, and this systemic bias persists as a deterministic prejudice even when models are provided neutral fallback options or claim to answer randomly. Finally, we demonstrate that this comparative prejudice is a generalized phenomenon that scales positively with model size. Ultimately, we offer a crucial methodological guideline: while researchers must leverage comparative settings to robustly audit hidden biases, practitioners cannot safely rely on comparative deployments in ambiguous real-world tasks.