LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models

📄 arXiv: 2611.02692v1 📥 PDF

作者: Danial Amin, Joni Salminen, Bernard J. Jansen

分类: cs.CL, cs.HC

发布日期: 2026-11-02

备注: This manuscript is under review at FAccT'2027

💡 一句话要点

探讨性别敏感性对大型语言模型评估的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 性别敏感性 决策模型 职业评估 人力资源管理

📋 核心要点

  1. 现有的LLMs在评估候选人时可能存在性别偏见，影响决策的公正性与准确性。
  2. 论文通过分析候选人和评估者的性别对LLMs决策的影响，提出了评估模型的性别敏感性研究。
  3. 实验结果显示，性别标签显著影响投票概率，且不同模型之间的决策一致性存在差异。

📝 摘要（中文）

随着大型语言模型（LLMs）在职业角色评估中的广泛应用，关于其对人口特征敏感性的担忧日益增加。本文研究了候选人和评估者的性别分配如何影响LLM作为评判者（LaJ）模型和决策语言模型（DLMs）的决策。在一个假设的市议会投票任务中，八个模型对来自NVIDIA的美国和法国Nemotron-Personas数据集的240个合成职业叙述进行了评估，产生了30,720个判断。显式的候选人性别标签使“是”票的概率增加了1.05-1.73个百分点，而只有非二元评估者的分配显示出显著增加（1.26点）。身份匹配未显示出显著的整体关联。不同模型的“是”票率差异较大（81.3%-97.2%），相较于未指定身份基线，2.5%-3.3%的决策发生了反转。直接替换显式性别身份时，DLMs的决策反转率低于LaJ模型（1.18%对3.38%），表明测试的DLMs在决策层面上表现出较低的性别敏感性。这些发现表明，性别敏感性依赖于候选人和评估者的身份以及评估模型，同时强调了在聚合差异的同时检查个体决策一致性的重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在职业评估中可能存在的性别偏见问题，现有方法未能充分考虑性别对决策的影响，导致评估结果的不公正性。

核心思路：通过对候选人和评估者性别的独立变化，研究其对LLMs决策的影响，从而揭示性别敏感性在不同模型中的表现差异。

技术框架：研究设计包括一个假设的市议会投票任务，使用八个不同的模型对240个合成职业叙述进行评估，生成30,720个判断，分析性别标签对投票结果的影响。

关键创新：最重要的创新在于揭示了不同评估模型（LaJ与DLMs）在性别敏感性上的显著差异，尤其是在决策反转率方面，DLMs表现出更低的性别敏感性。

关键设计：实验中使用了显式性别标签和非二元评估者分配，分析了不同模型的“是”票率和决策反转情况，确保了实验的全面性与准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，显式候选人性别标签使“是”票概率增加1.05-1.73个百分点，而非二元评估者的分配增加了1.26个百分点。不同模型的“是”票率差异显著，DLMs的决策反转率（1.18%）低于LaJ模型（3.38%），表明DLMs在性别敏感性方面表现更佳。

🎯 应用场景

该研究的潜在应用领域包括人力资源管理、招聘系统和自动化评估工具。通过提高评估模型的公正性，可以减少性别偏见，促进多样性和包容性，提升决策的透明度与可信度。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to evaluate candidates for professional roles, raising concerns about their sensitivity to demographic identities. We examine how candidate and evaluator gender assignments affect decisions by LLM-as-a-Judge (LaJ) models and decision language models (DLMs). In a hypothetical city council voting task, eight models evaluated 240 synthetic professional narratives from NVIDIA's US and French Nemotron-Personas datasets under independently varied gender assignments, producing 30,720 judgments. Explicit candidate gender labels increased Yes-vote probability by 1.05-1.73 percentage points relative to unspecified gender, while only the nonbinary evaluator assignment showed a significant increase (1.26 points). Identity matching showed no significant overall association. Yes-vote rates varied across models (81.3-97.2%), and 2.5-3.3% of decisions reversed relative to the unspecified-identity baseline. Under direct substitutions between explicit gender identities, DLMs exhibited fewer decision reversals than LaJ models (1.18% vs. 3.38%), indicating lower observed decision-level gender sensitivity among the tested DLMs. These findings demonstrate that gender sensitivity depends on candidate and evaluator identities and the evaluation model, while highlighting the importance of examining individual decision consistency alongside aggregate differences.