Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment

📄 arXiv: 2606.11672v1 📥 PDF

作者: Derek Yohn, Luke Flancher, Mirajul Islam, Khaled Slhoub

分类: cs.CR, cs.AI

发布日期: 2026-06-10

备注: Keywords: Agentic AI, Cybersecurity, Large Language Models, Static Application Security Testing, Model performance evaluation

💡 一句话要点

评估开源LLM代理在静态应用安全测试中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开源模型 静态应用安全测试 大型语言模型 网络安全 性能评估

📋 核心要点

  1. 现有的静态应用安全测试工具在应对复杂的安全威胁时存在局限性，无法满足动态变化的网络安全需求。
  2. 论文提出了一种基于开源大型语言模型的代理工具，旨在提升静态应用安全测试的效率和准确性。
  3. 实验结果表明，开源GenAI LLM代理在实际应用中未能超越传统SAST工具Bandit的性能，尤其在假阳性率和综合得分方面表现不佳。

📝 摘要（中文）

本文探讨了代理型人工智能工具在网络安全中的价值。我们评估了基于通用大型语言模型（GenAI）的代理在三种不同Ollama托管的开源模型下的有效性。通过精确度、召回率、假阳性计数及综合得分等指标，评估了每个代理的表现，并与现有的静态应用安全测试工具Bandit的基线性能进行了对比。研究结果驳斥了现代开源GenAI LLM代理在现实条件下适用于静态应用安全测试扫描的观点。

🔬 方法详解

问题定义：本文旨在解决开源大型语言模型（LLM）代理在静态应用安全测试（SAST）中的有效性问题。现有的SAST工具如Bandit在面对复杂的安全漏洞时，可能无法提供足够的准确性和效率。

核心思路：论文的核心思路是评估基于GenAI的开源模型在执行SAST任务时的表现，探讨其是否能够替代传统的静态测试工具。通过对比不同模型的性能，分析其在实际应用中的适用性。

技术框架：研究采用了三种不同的Ollama托管开源模型，评估其在静态应用安全测试中的表现。主要模块包括模型选择、性能评估（精确度、召回率、假阳性计数）和综合得分计算。

关键创新：论文的创新点在于首次系统性地将开源GenAI LLM代理与传统SAST工具进行对比，揭示了其在特定任务中的局限性，挑战了当前对开源AI工具的过度乐观预期。

关键设计：在实验中，设置了多个性能指标，包括精确度、召回率和假阳性计数，采用综合得分来评估模型的整体表现，确保了评估的全面性和客观性。实验设计中还考虑了现实应用场景的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于GenAI的开源代理在精确度和召回率方面未能超越Bandit工具，假阳性率也较高。综合得分的计算表明，当前的开源LLM代理在现实条件下并不适合替代传统的静态应用安全测试工具。

🎯 应用场景

该研究的潜在应用领域包括网络安全、软件开发和信息技术管理。通过评估开源LLM代理在静态应用安全测试中的有效性，能够为企业在选择安全测试工具时提供重要参考，帮助其更好地应对网络安全威胁。未来，随着技术的发展，开源AI工具可能会在安全测试中发挥更大作用。

📄 摘要（原文）

This paper explores the value of agentic AI tools for cybersecurity purposes. We evaluate the efficacy of a general-purpose GenAI Large Language Model- (GenAI-) based agent when powered by three different Ollama-hosted general-purpose open source models. We assess each agent's performance using precision, recall, false positive count, and a calculated composite score based upon the interplay of the captured metrics, against the baseline performance of an existing, vetted Static Application Security Testing (SAST) tool, Bandit. Our findings refute the notion that a modern open-source GenAI LLM-based agent is currently suitable for the specialized task of SAST scanning under realistic conditions.