MIRAGE: Auditing Anti-Muslim Bias in Frontier LLMs Across Reasoning, Agentic, and Time-Coupled Conditions
作者: Noor Islam S. Mohammad, Tamim Sheikh
分类: cs.LG
发布日期: 2026-06-15
💡 一句话要点
提出MIRAGE基准以审计前沿LLM中的反穆斯林偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 反穆斯林偏见 大型语言模型 链式推理 代理决策 内容审核 社会公正 偏见审计
📋 核心要点
- 现有评估方法主要集中在单轮提示完成，无法反映前沿LLM的实际应用场景，导致对反穆斯林偏见的审计不足。
- 论文提出MIRAGE基准，涵盖直接完成、链式推理和模拟代理决策三种条件，以全面审计反穆斯林偏见。
- 实验结果显示，链式推理放大了偏见，代理决策存在显著不对称性，且偏见与新闻上下文密切相关，现有缓解措施效果有限。
📝 摘要（中文）
在发现大型语言模型中持续存在反穆斯林偏见五年后，大多数评估仍局限于单轮提示完成，这种设置已不再反映前沿LLM的实际部署情况。我们引入了MIRAGE（穆斯林身份推理与代理生成评估），这是一个包含1200个提示的基准，涵盖三种与部署相关的条件：直接完成、链式推理和模拟代理决策。我们在六个前沿模型中发现，链式推理会放大穆斯林与暴力关联的偏见，代理决策在相同证据下穆斯林与非穆斯林案例之间存在9-22个百分点的不对称性，且偏见与检索的新闻上下文紧密相关，近期冲突检索下偏见增加18-27%。现有的基于提示的缓解措施在这三种条件下效果不佳，直接完成偏见被抑制但代理不对称性基本保持不变。我们发布了MIRAGE及开放评估工具，以支持针对性缓解研究。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型中反穆斯林偏见的审计问题。现有方法多集中于单轮提示完成，无法反映模型在实际应用中的表现，导致偏见评估不足。
核心思路：论文提出MIRAGE基准，通过设计多种与实际部署相关的条件，全面评估模型在不同推理和决策场景下的偏见表现，以揭示潜在的偏见放大效应。
技术框架：MIRAGE基准包含1200个提示，分为三种条件：直接完成、链式推理和模拟代理决策。每种条件下的评估都针对特定的应用场景，如内容审核、贷款审查、难民申请总结和招聘筛选。
关键创新：最重要的创新在于引入了链式推理和代理决策的评估，这些方法能够揭示在不同上下文中偏见的动态变化，尤其是与新闻检索相关的偏见放大效应。
关键设计：在实验中，使用了多种前沿模型进行评估，设计了针对不同条件的提示，并分析了偏见在不同上下文下的变化，特别关注了与近期冲突相关的新闻检索对偏见的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，链式推理在偏见放大方面的影响显著，穆斯林与暴力的关联增加了12-34%。在代理决策中，穆斯林与非穆斯林案例之间的不对称性达到了9-22个百分点。此外，偏见与检索的新闻上下文紧密相关，近期冲突检索下偏见增加了18-27%。
🎯 应用场景
该研究的潜在应用领域包括内容审核、招聘筛选和社会政策制定等。通过提供一个全面的偏见审计工具，MIRAGE可以帮助研究人员和开发者识别和缓解大型语言模型中的偏见，从而提高模型的公平性和透明度，促进社会公正。
📄 摘要（原文）
Five years after the discovery of persistent anti-Muslim bias in large language models, most evaluations remain confined to single-turn prompt completion, a setting that no longer reflects how frontier LLMs are deployed. We introduce \textbf{MIRAGE} (Muslim-Identity Reasoning and Agentic Generation Evaluation), a benchmark of 1{,}200 prompts spanning three deployment-realistic conditions: direct completion, chain-of-thought reasoning, and simulated agentic decision-making across content moderation, lending triage, refugee claim summarization, and hiring screens. Across six frontier models, we find that (i) chain-of-thought reasoning \emph{amplifies} rather than suppresses Muslim-violence associations by 12--34\% relative to direct completion, (ii) agentic decisions exhibit a 9--22 percentage-point asymmetry between Muslim and matched non-Muslim cases on identical evidence, and (iii) bias is sharply time-coupled to retrieved news context, increasing 18--27\% under recent-conflict retrieval. Existing prompt-based mitigations transfer poorly across our three conditions, suppressing direct-completion bias while leaving agentic asymmetry largely intact. We release MIRAGE and an open evaluation harness to support targeted mitigation research.