AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
作者: Junchen Ding, Jialiang Dong, Yichen Zhu, Yi Liu, Gelei Deng, Willy Susilo, Siqi Ma, Yuekang Li
分类: cs.CR, cs.AI
发布日期: 2026-08-26
备注: Accepted to SiMLA 2026
💡 一句话要点
提出主动神经符号验证以解决AI漏洞评估中的信任危机
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 漏洞评估 AI杂音 主动验证 神经符号 网络安全 推理覆盖率 可信性 评估工具
📋 核心要点
- 现有的漏洞评估方法面临AI杂音的挑战，导致错误信息的泛滥，增加了人类处理的认知负担。
- 论文提出通过主动神经符号验证来解决因果推理与语言模型生成之间的差距，确保评估的可信性。
- 研究中开发了CVE-Bench和Slop-Score两个评估工具，转变了评估标准，从语言流畅性转向数学可验证性。
📝 摘要（中文）
随着大型语言模型（LLMs）在网络安全中的应用，漏洞评估发生了变革，但也引发了由于“AI杂音”泛滥而导致的信任危机。本文调查了这一现象的实证证据，识别出统一机制，并提出了朝向可信赖的漏洞评估的路径。我们通过结构化文献综述形式化了AI杂音的分类法，并剖析其根本原因：安全专家的因果推理与当前LLMs的自回归概率生成之间的差距。我们通过可测量的代理指标——推理覆盖率分数，来量化这一差距，并展示了思维链提示和工具使用代理虽然缩小了这一差距，但并未完全消除。我们回顾了缓解策略，主张主动的神经符号验证，确保每个管道组件映射到具有安全输入文档限制的先前系统。
🔬 方法详解
问题定义：本文旨在解决AI在漏洞评估中产生的信任危机，特别是由于AI杂音导致的错误信息泛滥，增加了人类的认知负担。
核心思路：论文的核心思路是通过主动神经符号验证来缩小安全专家的因果推理与LLMs的生成之间的差距，以提高漏洞评估的可信度。
技术框架：整体架构包括文献综述、AI杂音分类、推理覆盖率分数的量化、以及主动验证机制的设计，主要模块包括数据集构建、评估指标设计和验证流程。
关键创新：最重要的技术创新点在于提出了推理覆盖率分数作为量化代理，并引入主动神经符号验证，区别于传统的被动检测方法。
关键设计：在设计中，重点关注了推理覆盖率分数的计算方法、数据集的构建方式，以及如何确保验证过程中的安全输入限制。通过这些设计，确保了评估过程的严谨性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用主动神经符号验证后，推理覆盖率分数显著提高，评估的准确性和可信度有了明显提升。与传统方法相比，新的评估工具在处理AI杂音方面表现出更强的鲁棒性，减少了错误信息的传播。
🎯 应用场景
该研究的潜在应用领域包括网络安全、漏洞评估工具的开发以及AI驱动的安全系统。通过提高漏洞评估的可信性，能够有效减少由于错误信息导致的安全风险，提升整体网络安全防护能力。
📄 摘要（原文）
The integration of Large Language Models (LLMs) into cybersecurity has transformed vulnerability assessment, but it has also produced a trustworthiness crisis driven by the unchecked proliferation of "AI slop." These artifacts, hallucinated vulnerabilities, plausible but incorrect patches, and semantically repackaged bug reports, impose a cognitive burden on human triage pipelines that mirrors a denial-of-service attack. This paper surveys the empirical evidence, identifies a unifying mechanism, and traces a path toward trustworthy triage. We formalize a taxonomy of AI slop grounded in a structured literature review and dissect its root cause: the gap between the causal deductive reasoning of security experts and the autoregressive probabilistic generation of current LLMs. We operationalize this gap through a measurable proxy, the Deductive Coverage Score, and show that chain-of-thought prompting and tool-using agents narrow but do not close it. We review mitigation strategies and argue that passive detection and watermarking target provenance rather than correctness, facing fundamental entropy constraints. We instead advocate for active neuro-symbolic verification, mapping each pipeline component to prior systems with documented limits on security inputs. Finally, we specify two evaluation instruments, CVE-Bench and Slop-Score, including dataset construction, metric formulas, and anti-gaming provisions. By shifting evaluation from linguistic fluency to mathematical verifiability, this survey provides a roadmap for securing emerging AI-driven triage systems.