Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
作者: Aryan Khurana, Aravind Ramana RN, Dhruv Kumar
分类: cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出AuthorityBench基准以研究语言模型中的引用偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 引用偏见 认知行为 多领域基准 实验评估
📋 核心要点
- 现有研究对引用存在对大型语言模型行为的影响缺乏深入理解，尤其是在事实内容之外的影响。
- 本文提出AuthorityBench基准，通过控制引用的真实性和声明的真实性，系统性研究引用对模型认知行为的影响。
- 实验结果显示，引用的存在显著提高了幻觉率，尤其是在真实声明伴随虚构引用时，幻觉率增加幅度可达22个百分点。
📝 摘要（中文）
大型语言模型在引用增强的环境中越来越多地被应用，但引用的存在对模型行为的影响尚不明确。本文提出AuthorityBench，这是一个包含220,564个提示的多领域基准，旨在隔离引用基础的权威信号如何影响大型语言模型的认知行为。该基准采用完全平衡的2x2因子设计，跨越四个领域（一般知识、科学、法律和医学），并对40个提示模板、四个场馆声望等级和一个国家编码的作者姓名数据集进行了控制变异。对七个模型在12个结构化研究问题上的评估发现，无论是真实还是虚构的引用，引用的存在始终会相对无引用基线增加幻觉率。
🔬 方法详解
问题定义：本文旨在研究引用存在对大型语言模型（LLMs）行为的影响，尤其是如何影响模型的认知偏差。现有方法未能系统性地分析引用的真实性对模型输出的影响，导致对模型行为的理解不足。
核心思路：论文通过引入AuthorityBench基准，采用2x2因子设计，交叉控制声明的真实性与引用的真实性，系统性地评估其对模型行为的影响。这样设计的目的是为了明确引用信号在不同领域中的作用。
技术框架：AuthorityBench基准包含220,564个提示，覆盖一般知识、科学、法律和医学四个领域。研究中使用了40个提示模板和四个场馆声望等级，确保了实验的全面性和可重复性。
关键创新：该研究首次在多领域中系统性地分析了引用的真实性与声明的真实性对模型认知行为的影响，填补了现有文献的空白。
关键设计：实验中控制了多个变量，包括提示模板、场馆声望和作者姓名的国家编码，确保了实验结果的可靠性。同时，评估了七个不同的模型在12个结构化研究问题上的表现。实验结果显示，引用的存在显著提高了幻觉率，尤其是在真实声明伴随虚构引用的情况下。
🖼️ 关键图片
📊 实验亮点
实验结果表明，引用的存在，无论是真实还是虚构，均显著提高了幻觉率。尤其是在真实声明伴随虚构引用的情况下，幻觉率增加幅度可达22个百分点，且在一般知识领域的幻觉率高达77%。这些发现为理解大型语言模型的行为提供了重要见解。
🎯 应用场景
该研究的潜在应用领域包括学术研究、法律文书生成和医疗建议等，能够帮助开发更可靠的语言模型，减少模型输出中的错误信息。未来，随着对引用偏见的深入理解，可能会推动更智能的模型设计和训练方法，从而提升模型在实际应用中的表现。
📄 摘要（原文）
Large language models are increasingly deployed in citation-augmented settings, yet the effect of citation presence on model behavior independent of factual content remains poorly understood. We introduce AuthorityBench, a 220,564-prompt multi-domain benchmark that isolates how citation-based authority signals influence epistemic behavior in LLMs. The benchmark uses a fully balanced 2x2 factorial design crossing claim veracity with citation veracity, the first to do so, across four domains (general knowledge, science, law, and medicine), with controlled variation over 40 prompt templates, four venue prestige tiers, and a country-coded author name dataset. Evaluating seven models on 12 structured research questions, we find that citation presence, whether real or fabricated, consistently increases hallucination rates relative to a no-citation baseline. The effect is strongest when fabricated citations accompany true claims, raising hallucination rates by 3 to 22 percentage points and reaching 35 to 77% in the general knowledge domain, while legal claims are comparatively robust and venue prestige and author demographics show negligible impact. All datasets and evaluation code are available at:this https URL