AgentFairBench: Do LLM Agents Discriminate When They Act?
作者: Triveni Morla, Rohith Reddy Bellibaltu, Manpreet Singh, Manmeet Singh Kapoor
分类: cs.AI
发布日期: 2026-06-15
备注: Submitted to IEEE Access
💡 一句话要点
提出AgentFairBench以评估LLM代理的公平性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 公平性评估 人口统计差异 偏见传导框架 多领域基准 合成个人资料 统计方法
📋 核心要点
- 现有方法主要通过评分答案来衡量LLM的公平性，未能有效评估其在实际行动中的人口统计差异。
- 论文提出AgentFairBench基准，结合偏见传导框架，评估LLM代理在招聘、信贷和医疗分诊中的行动公平性。
- 实验结果显示，使用匹配的噪声基准，某些LLM在行动中未表现出显著的人口统计效应，验证了方法的有效性。
📝 摘要（中文）
大型语言模型（LLM）代理在执行诸如筛选申请者、推荐信贷和医疗分诊等任务时，其公平性仍主要通过评分答案来衡量。本文提出了AgentFairBench，这是一个廉价、可重复的多领域基准，用于评估LLM代理在行动中的人口统计差异。该基准基于偏见传导框架（BCF），涵盖招聘、信贷和医疗分诊三个领域。通过对合成的、人口统计中立的个人资料进行评估，研究展示了不同代理架构下的行动差异，并提供了开放的代码和数据以供进一步研究。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLM）代理在执行任务时的公平性评估问题。现有方法主要依赖于评分答案，无法有效反映其在实际行动中的人口统计差异。
核心思路：论文提出AgentFairBench基准，结合偏见传导框架（BCF），通过对合成的、人口统计中立的个人资料进行评估，分析不同代理架构下的行动差异。
技术框架：整体架构包括数据生成、代理架构设计和公平性评估模块。数据生成阶段创建合成个人资料，代理架构包括直接代理、思维链代理、多代理协商和工具增强代理。评估模块计算反事实翻转率、平均绝对分数差异等指标。
关键创新：最重要的技术创新在于提出了一个可重复的、低成本的基准，能够有效评估LLM代理在多领域中的公平性，尤其是在行动层面的差异。
关键设计：使用NumPy构建的评估工具计算多种公平性指标，并采用引导置信区间、配对测试和假发现率控制等统计方法，确保结果的可靠性。
📊 实验亮点
实验结果表明，使用匹配的噪声基准，Claude Haiku 4 5在120对比中未发现显著的人口统计效应，验证了所提出方法的有效性和灵敏度。此外，植入偏见测试确认了该工具在检测差异时的有效性。
🎯 应用场景
该研究的潜在应用领域包括招聘、金融信贷和医疗分诊等多个行业，能够帮助企业和机构在使用LLM代理时更好地评估和改善其公平性，减少潜在的偏见和歧视。未来，AgentFairBench可能成为评估AI系统公平性的重要标准工具，推动更广泛的社会责任实践。
📄 摘要（原文）
Large language model (LLM) agents increasingly take actions (screening applicants, recommending credit, triaging patients), yet fairness for LLMs is still measured by grading answers. We introduce AgentFairBench, a cheap, reproducible, multi-domain benchmark for demographic disparity in the actions of LLM agents. Grounded in a companion framework, the Bias Conduction Framework (BCF, restated here), it spans three regulator-anchored domains: hiring, lending, and medical triage. Synthetic, demographic-neutral profiles are evaluated in counterfactual matched sets that vary only a name-coded race x gender signal (in the Bertrand Mullainathan tradition), under four agent scaffolds of increasing agency (direct, chain-of-thought, multi-agent deliberation, tool-augmented). A NumPy-only harness computes counterfactual flip rate, mean absolute score difference (MASD), action-rate disparity, and tool-invocation disparity, with bootstrap confidence intervals, paired tests, and false-discovery-rate control, for single-digit dollars per model. A live leaderboard with a held-out private split and a contamination canary admits external models by submission. Our pilot (864 decisions plus a test-retest replication) carries a methodological lesson: comparing a six-group score spread against a two-run noise difference overstates disparity by ~ 2.4X through statistic arity alone. Against an arity matched noise floor and an omnibus group test, claude haiku 4 5 shows no demographic effect above sampling noise (0 of 120 pairwise and 0 of 9 omnibus contrasts survive correction); a planted-bias test confirms the instrument detects disparity when present. The contribution is a sound, sensitive, adoption-ready instrument, the arity matched null methodology, and open artifacts to scale it. Code, data, and harness are released under open licenses, with an anonymized review artifact.