Phantom References: Hallucinated Citations That Survive Peer Review at Top-Tier Conferences

📄 arXiv: 2607.00738v1 📥 PDF

作者: Mark Russinovich, Ram Shankar Siva Kumar, Ahmed Salem

分类: cs.DL, cs.AI

发布日期: 2026-07-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出RefChecker以解决学术论文引用虚假问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 引用验证 虚假引用 学术诚信 文献审计 大型语言模型

📋 核心要点

  1. 现有的同行评审机制无法有效保证引用的完整性，导致虚假引用问题的出现。
  2. 论文提出RefChecker，通过多源文献验证和网络搜索，系统性审计学术论文中的引用情况。
  3. 实验结果显示，在2025年，约20%的NeurIPS和USENIX Security论文存在至少两个虚假引用，且这一现象在ChatGPT发布后有所增加。

📝 摘要（中文）

大型语言模型能够生成精炼的科学文本，但可能包含不支持的主张，从而使虚假引用进入档案记录。本文通过对引用的审计，提出了一种保守的定义，专注于身份级别的失败，如不存在的作品和显著的作者列表不匹配。我们构建了RefChecker，一个验证管道，通过多个文献来源验证参考文献条目，并对未解决的案例进行网络搜索验证。研究表明，尽管引用级别的虚假率通常低于1%，但在大型会议论文中，至少有20%的论文包含两个以上的虚假引用。我们开源了RefChecker，以便在发表前进行常规的、可重复的引用验证。

🔬 方法详解

问题定义：本文旨在解决学术论文中虚假引用的问题，现有的同行评审机制未能有效识别和防止这一现象，导致虚假引用进入学术记录。

核心思路：论文的核心思路是通过构建RefChecker验证管道，系统性地审计引用，确保引用的真实性和准确性。通过对比多个文献来源，能够有效识别虚假引用。

技术框架：RefChecker的整体架构包括多个模块：首先是文献条目的解析和验证，其次是对未解决案例的网络搜索验证，最后是结果的汇总和报告生成。

关键创新：最重要的技术创新点在于提出了一种保守的定义，专注于身份级别的失败，能够有效区分虚假引用与普通的文献漂移。与现有方法相比，RefChecker提供了更高的审计精度。

关键设计：在设计中，RefChecker使用了多种文献数据库进行交叉验证，并设定了严格的匹配标准，确保作者列表和出版信息的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在2025年，约20%的NeurIPS和USENIX Security论文包含至少两个虚假引用，且在一些论文中发现了超过5个虚假引用的情况。这一现象在ChatGPT发布后显著增加，表明引用审计的必要性和紧迫性。

🎯 应用场景

该研究的潜在应用领域包括学术出版、科研诚信审计和学术评价系统。RefChecker能够帮助期刊和会议在发表前进行引用验证，从而提高学术出版的质量，减少虚假引用对学术声誉的影响。

📄 摘要（原文）

Large language models can generate polished scientific text that includes unsupported claims, allowing hallucinations to enter the archival record. Assessing this risk via technical statements is difficult and often requires expert judgment, but citations provide a more auditable surface: a reference either resolves to a real scholarly work with compatible authorship, or it does not. We measure citation hallucination in peer-reviewed proceedings using a conservative definition limited to identity-level failures: non-existent works and substantial author-list mismatches. We explicitly exclude ordinary bibliographic drift (e.g., venue/year differences, publication-status updates, minor name variants). To audit citations at scale, we build RefChecker, a verification pipeline that resolves bibliography entries against multiple bibliographic sources and escalates unresolved cases to web-search re-verification. We apply RefChecker to accepted camera-ready papers from ICLR, ICML, NeurIPS, and USENIX Security. Hallucinated citations have entered the archival record. While reference-level rates are usually below 1%, proceedings are large enough that paper-level failures are visible: in 2025, roughly one in twenty NeurIPS and USENIX Security papers contains at least two likely hallucinated academic-paper-like references under our strict definition. We also observe post-ChatGPT increases in several venues, including a tail of papers with 5+ failures in a single bibliography, and likely hallucinated citations even among award-winning papers. These results suggest peer review alone does not reliably enforce citation integrity, yet auditing is tractable (about 0.04$ per paper in one venue-scale scan). We open-source RefChecker for routine, reproducible citation verification before publication (https://github.com/markrussinovich/refchecker).