Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
作者: Aryan Khurana, Aravind Ramana RN, Dhruv Kumar
分类: cs.LG
发布日期: 2026-06-11
备注: 10 pages, 5 figures. Accepted to AI4GOOD and EIML at ICML 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出AuthorityBench以研究引用偏见对大语言模型的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 引用偏见 认知行为 实验基准 幻觉率 多领域研究 模型评估
📋 核心要点
- 现有研究对引用存在对大语言模型行为的影响缺乏深入理解，尤其是在不同领域的表现差异。
- 本文提出AuthorityBench基准，通过设计平衡的实验框架，系统研究引用对模型认知行为的影响。
- 实验结果表明，引用的存在显著提高了模型的幻觉率，尤其是在虚构引用与真实声明结合时，影响尤为明显。
📝 摘要（中文）
随着大语言模型在引用增强环境中的广泛应用，引用存在对模型行为的影响尚未得到充分理解。本文提出AuthorityBench，这是一个包含220,564个提示的多领域基准，旨在隔离引用基础的权威信号如何影响大语言模型的认知行为。该基准采用完全平衡的2x2因子设计，跨越四个领域（一般知识、科学、法律和医学），并对40个提示模板、四个场馆声望等级和一个国家编码的作者姓名数据集进行了控制变异。对七个模型在12个结构化研究问题上的评估发现，无论是真实还是虚构的引用，引用的存在都显著增加了相较于无引用基线的幻觉率。尤其是在虚构引用伴随真实声明时，幻觉率提升幅度达到3到22个百分点，在一般知识领域甚至高达35%至77%。
🔬 方法详解
问题定义：本文旨在研究引用存在如何影响大语言模型的认知行为，尤其是在不同领域和引用真实性的情况下。现有方法未能充分探讨这一问题，导致对模型行为的理解不够全面。
核心思路：通过引入AuthorityBench基准，采用平衡的2x2因子设计，研究引用的权威信号如何影响模型的幻觉率。该设计允许在控制其他变量的情况下，专注于引用的影响。
技术框架：AuthorityBench基准包含220,564个提示，跨越四个领域（一般知识、科学、法律和医学），并结合40个提示模板和四个场馆声望等级。评估过程中，使用七个不同的模型回答12个结构化研究问题。
关键创新：本研究首次采用平衡的因子设计来探讨引用对大语言模型的影响，揭示了虚构引用与真实声明结合时对幻觉率的显著提升。
关键设计：在实验中，控制了提示模板、场馆声望和作者姓名等多个因素，确保结果的可靠性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，引用的存在，无论是真实还是虚构，均显著提高了模型的幻觉率。特别是在虚构引用与真实声明结合的情况下，幻觉率提升幅度达到3至22个百分点，在一般知识领域甚至高达35%至77%。这些发现强调了引用在模型认知中的重要性。
🎯 应用场景
该研究为理解大语言模型在引用增强环境中的行为提供了重要的基准和工具，具有广泛的应用潜力。未来可用于改进模型的训练和评估方法，尤其是在需要高准确性和可靠性的领域，如法律和医学。通过优化引用处理，可能提升模型的整体表现和可信度。
📄 摘要（原文）
Large language models are increasingly deployed in citation-augmented settings, yet the effect of citation presence on model behavior independent of factual content remains poorly understood. We introduce AuthorityBench, a 220,564-prompt multi-domain benchmark that isolates how citation-based authority signals influence epistemic behavior in LLMs. The benchmark uses a fully balanced 2x2 factorial design crossing claim veracity with citation veracity, the first to do so, across four domains (general knowledge, science, law, and medicine), with controlled variation over 40 prompt templates, four venue prestige tiers, and a country-coded author name dataset. Evaluating seven models on 12 structured research questions, we find that citation presence, whether real or fabricated, consistently increases hallucination rates relative to a no-citation baseline. The effect is strongest when fabricated citations accompany true claims, raising hallucination rates by 3 to 22 percentage points and reaching 35 to 77% in the general knowledge domain, while legal claims are comparatively robust and venue prestige and author demographics show negligible impact. All datasets and evaluation code are available at: https://github.com/floating-reeds/AuthorityBench