From Lab to Reality: A Practical Evaluation of Deep Learning Models and LLMs for Vulnerability Detection

📄 arXiv: 2512.10485 📥 PDF

作者: Chaomeng Lu, Bert Lagaisse

分类: cs.CR, cs.LG, cs.SE

发布日期: 2026-07-05

💡 一句话要点

评估深度学习模型与LLMs在漏洞检测中的实际应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度学习 漏洞检测 图神经网络 大语言模型 代码表示 数据集评估 软件安全

📋 核心要点

  1. 现有的深度学习漏洞检测方法在基准数据集上表现良好，但在真实世界中的有效性尚未得到充分验证。
  2. 本文通过系统评估ReVeal和LineVul模型在多个数据集上的表现，提出了一种以部署为导向的评估框架。
  3. 实验结果表明，当前模型在新构建的数据集VentiVul上表现不佳，无法可靠地检测漏洞，强调了改进的必要性。

📝 摘要（中文）

基于深度学习的漏洞检测方法在基准数据集上表现出色，但其在实际应用中的有效性仍未得到充分探索。本文系统评估了ReVeal和LineVul两个深度学习模型在四个数据集上的表现，并分析了其代码表示。通过在VentiVul数据集上测试这些模型，结果显示当前模型在区分易受攻击和非易受攻击代码方面存在困难，且在不同数据分布下的泛化能力较差。这些发现揭示了学术基准与实际部署之间的差距，强调了更强大的代码表示和高质量数据集的必要性。

🔬 方法详解

问题定义：本文旨在解决深度学习模型在实际漏洞检测中的有效性不足，尤其是在不同数据分布下的泛化能力差的问题。现有方法在学术基准上表现良好，但在真实场景中却难以应用。

核心思路：通过系统评估ReVeal和LineVul模型在多个数据集上的表现，结合预训练的大语言模型，探索其在实际漏洞检测中的应用潜力。

技术框架：研究采用四个代表性数据集（Juliet、Devign、BigVul、ICVul）对模型进行独立训练，并使用t-SNE分析代码表示，最后在VentiVul数据集上进行评估。

关键创新：提出了一种新的时间序列外部分布数据集VentiVul，揭示了现有模型在真实世界应用中的局限性，强调了对更强大代码表示的需求。

关键设计：模型训练过程中采用独立的数据集，使用t-SNE进行可视化分析，评估时结合了多个预训练的LLMs，关注模型在不同数据分布下的表现。实验结果显示，模型在VentiVul上的性能显著下降，表明现有方法的不足。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前模型在新构建的VentiVul数据集上表现不佳，无法有效区分易受攻击与非易受攻击的代码，性能显著下降。大多数模型在该数据集上未能可靠检测漏洞，揭示了学术基准与实际应用之间的显著差距。

🎯 应用场景

该研究的潜在应用领域包括软件安全性检测、代码审计和漏洞修复等。通过改进深度学习模型的实际应用能力，可以为开发者提供更有效的工具，提升软件系统的安全性，减少潜在的安全风险。未来，随着更高质量数据集和更强大模型的出现，漏洞检测的准确性和可靠性有望得到显著提升。

📄 摘要（原文）

Vulnerability detection methods based on deep learning (DL) have shown strong performance on benchmark datasets, yet their real-world effectiveness remains underexplored. Recent work suggests that both graph neural network (GNN)-based and transformer-based models, including large language models (LLMs), yield promising results when evaluated on curated benchmark datasets. These datasets are typically characterized by consistent data distributions and heuristic or partially noisy labels. In this study, we systematically evaluate two representative DL models-ReVeal and LineVul-across four representative datasets: Juliet, Devign, BigVul, and ICVul. Each model is trained independently on each respective dataset, and their code representations are analyzed using t-SNE to uncover vulnerability related patterns. To assess realistic applicability, we deploy these models along with four pretrained LLMs, Claude 3.5 Sonnet, GPT-o3-mini, GPT-4o, and GPT-5 on a curated dataset, VentiVul, comprising 20 recently (May 2025) fixed vulnerabilities from the Linux kernel. Our experiments reveal that current models struggle to distinguish vulnerable from non-vulnerable code in representation space and generalize poorly across datasets with differing distributions. When evaluated on VentiVul, our newly constructed time-wise out-of-distribution dataset, performance drops sharply, with most models failing to detect vulnerabilities reliably. These results expose a persistent gap between academic benchmarks and real-world deployment, emphasizing the value of our deployment-oriented evaluation framework and the need for more robust code representations and higher-quality datasets.