The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort

📄 arXiv: 2605.17062 📥 PDF

作者: Aleksandr Churilov

分类: cs.CR, cs.LG, cs.SE

发布日期: 2026-06-12

💡 一句话要点

评估前沿模型的包名幻觉问题以应对安全威胁

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 包名幻觉 安全威胁 供应链攻击 代码生成 模型评估 PyPI npm

📋 核心要点

  1. 现有研究显示，代码生成模型在生成包名时存在高达21.7%的幻觉率，带来了安全隐患。
  2. 本文通过复制Spracklen的研究方法，评估了五个新发布的前沿模型的幻觉现象，并识别出共同生成的包名。
  3. 实验结果表明，虽然整体幻觉率有所降低，但仍存在大量可被注册的虚假包名，构成新的攻击面。

📝 摘要（中文）

Spracklen等人（USENIX Security '25）展示了代码生成的大型语言模型在生成虚假包名方面的高幻觉率，导致潜在的恶意包注册风险。本文在五个2026年发布的前沿代码能力模型上复制了该方法，发现整体幻觉率在4.62%到6.10%之间，尽管这一范围有所缩小，但威胁依然存在。我们识别出127个所有模型均生成的包名，其中53个在现有防御下仍可被攻击者注册，形成了模型无关的供应链攻击面。此外，本文还记录了Python与JavaScript之间的幻觉不对称性，揭示了Anthropic家族中的Haiku与Sonnet的逆转现象。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成代码时产生虚假包名的问题，现有研究未能全面揭示这一现象的潜在安全威胁。

核心思路：通过复制现有研究的方法，评估新一代前沿模型的幻觉率，并识别出所有模型共同生成的虚假包名，以揭示潜在的攻击面。

技术框架：研究采用了对比实验设计，使用199,845个Python和JavaScript的提示进行验证，比较模型生成的包名与PyPI和npm的真实列表。

关键创新：识别出127个所有模型均生成的虚假包名，并发现53个在现有防御下仍可注册，形成了新的模型无关的供应链攻击面。

关键设计：实验中对模型的输出进行了系统的分类和验证，确保了数据的准确性和可靠性，同时记录了不同模型之间的幻觉不对称性。

📊 实验亮点

实验结果显示，五个模型的整体幻觉率在4.62%至6.10%之间，显著低于Spracklen的研究结果。同时，识别出的127个共同生成的包名中，有53个在现有防御下仍可被注册，揭示了新的安全隐患。

🎯 应用场景

该研究的结果对软件包管理和安全领域具有重要意义，能够帮助开发者和安全专家识别和防范潜在的恶意包注册风险。未来，研究成果可用于改进模型的安全性设计，降低幻觉现象带来的威胁。

📄 摘要（原文）

Spracklen et al. (USENIX Security '25) showed that code-generating large language models hallucinate package names that do not exist on PyPI or npm at rates ranging from 5.2% on commercial models to 21.7% on open-source models, creating an attack surface for slopsquatting -- the registration of malicious packages under hallucinated names. We replicate their methodology on five frontier code-capable LLMs released between October 2025 and March 2026: Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4-mini, Gemini 2.5 Pro, and DeepSeek V3.2. Across 199,845 paired Python and JavaScript prompts validated against PyPI and npm master lists, we measure overall hallucination rates between 4.62% (Claude Haiku 4.5) and 6.10% (GPT-5.4-mini) -- an order-of-magnitude compression of the inter-model spread observed by Spracklen, but not a retirement of the threat. Beyond replication, we identify a set of 127 package names (109 on PyPI, 18 on npm) that all five evaluated models invent identically; following coordinated disclosure with PyPI Security andthis http URL, 53 of these (41 on PyPI, 12 on npm) remain registrable by an attacker after each registry's existing defenses, constituting a model-agnostic supply-chain attack surface that no single-model study can reveal. We further document a Python-over-JavaScript hallucination asymmetry that inverts Spracklen's 2024 finding, identify a Haiku-below-Sonnet inversion within the Anthropic family, and observe a Jaccard-similarity peak between DeepSeek V3.2 and GPT-5.4-mini (J = 0.343) suggestive of shared training-data origins.