Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs
作者: Zheng Zhang, Yifan Wu, Yuxiang Zhou, Qi Liu, Qingyang Mao, Ning Li, Weibo Gao, Qiyuan Shi, Zhenya Huang, Baosheng Yu
分类: cs.AI
发布日期: 2026-10-26
备注: Accepted to EMNLP 2026 (Main Conference)
💡 一句话要点
提出ComFair基准以解决多属性公平性审计问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 公平性审计 多属性基准 大型语言模型 交叉性伤害 性能评估 算法透明性
📋 核心要点
- 现有公平性基准通常只关注单一敏感属性，无法捕捉多个属性交互带来的隐性伤害。
- 提出ComFair基准，通过将现有数据转化为多属性实例，支持对模型公平性的全面审计。
- 实验结果显示，模型在不同任务和属性组合下的敏感性表现各异，揭示了公平性评估的复杂性。
📝 摘要（中文）
大型语言模型（LLMs）在公平性评估中日益受到关注，但现有基准大多仅审计单一敏感属性。这种单属性范式可能忽视交叉性伤害，即多个属性的交互作用产生的隐性失败。本文提出ComFair，一个可配置的基准，将现有公平性数据转化为479,066个受控的双属性和多属性实例，并将每个增强实例与其任务等效源配对。通过对十个LLMs的实验，发现任务和子群体的敏感性依赖性，揭示了不同任务下的公平性表现和偏差得分变化。
🔬 方法详解
问题定义：本文旨在解决现有公平性审计方法仅关注单一属性的问题，导致无法识别交叉性伤害和隐性偏见。
核心思路：提出ComFair基准，通过构建多属性实例，允许对模型在不同属性组合下的表现进行全面审计，从而捕捉更复杂的公平性问题。
技术框架：ComFair基准将现有公平性数据转化为479,066个双属性和多属性实例，并通过配对机制将每个实例与其任务等效源关联，支持多维度的性能和偏差分析。
关键创新：ComFair的主要创新在于其可配置性和大规模的多属性审计能力，使得公平性评估超越了传统的单属性范式，能够更全面地反映模型的公平性表现。
关键设计：在设计中，采用了双属性和多属性的实例生成策略，确保每个实例的任务等效性，同时关注模型在不同任务和子群体下的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，十个大型语言模型在不同任务下的敏感性表现各异，尤其是在生成任务中，模型的偏差得分变化更为显著，且方向性不对称。通过ComFair基准，研究发现模型排名会随着属性组合的变化而变化，揭示了公平性评估的复杂性和重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的公平性评估、算法透明性和社会影响分析。ComFair基准能够帮助研究人员和开发者更好地理解和改进大型语言模型的公平性，促进技术的负责任使用，减少潜在的社会偏见。未来，该基准可能推动更多关于多属性公平性的研究和实践。
📄 摘要（原文）
Large language models (LLMs) are increasingly evaluated for fairness, yet most existing benchmarks audit one sensitive attribute at a time. This single-attribute paradigm can miss intersectional harms, where multiple attributes interact non-additively and produce failures that are invisible under marginal evaluation. We introduce ComFair, a configurable benchmark that converts existing fairness data into 479,066 controlled Dual- and Multi-attribute instances and pairs every augmented instance with its task-equivalent source. Across Recognition, Selection, Continuation, and Conversation, this pairing supports a unified audit of performance or bias-score shifts, how often added attributes introduce new errors or mask existing ones, and model-ranking stability. Experiments on ten LLMs show task- and subgroup-dependent sensitivity: discriminative tasks expose both transition directions even when aggregate changes are modest, generative tasks exhibit larger and directionally asymmetric shifts, and rankings vary with attribute composition. ComFair therefore provides a scalable controlled sensitivity audit---rather than a model of the natural joint distribution of identities---for testing the robustness of fairness-benchmark conclusions beyond single-attribute settings.