Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
作者: Liwei Yu, Shuo Li, Ming Zhou, Ge Chu, Yan Guo
分类: cs.CR, cs.AI
发布日期: 2026-06-24
💡 一句话要点
提出两阶段解耦评估框架以提升LLM渗透测试能力
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 渗透测试 大型语言模型 自动化安全 能力评估 网络安全 解耦评估 漏洞检测
📋 核心要点
- 现有的渗透测试方法在早期侦察阶段容易出现错误级联，导致无法准确评估利用能力。
- 本文提出了一种两阶段解耦评估框架，将利用执行与侦察分开，以更准确地测量渗透测试能力。
- 实验证明，准确的漏洞上下文下，代理的功能成功率可达90.0%，而自主侦察的召回率仅为50.0%。
📝 摘要（中文）
大型语言模型（LLMs）在自动化渗透测试中展现出潜力，但现有的端到端黑箱评估易受错误级联影响，早期侦察失败可能掩盖代理的实际利用能力。为更准确地表征这些能力，本文提出了一种两阶段解耦评估框架，将利用执行与侦察分离。通过在70个高保真网络漏洞测试平台上进行真实注入和知识驱动的消融实验，框架有效隔离了利用性能与侦察噪声。对五种开源渗透测试代理的实证评估显示，准确的漏洞上下文下，代理的功能成功率可达90.0%，而自主侦察的目标漏洞召回率约为50.0%。跨架构分析进一步揭示了不同能力特征的差异。
🔬 方法详解
问题定义：本文旨在解决现有渗透测试方法中，早期侦察失败导致的错误级联问题，这使得无法准确评估代理的利用能力。
核心思路：提出的解耦评估框架将利用执行与侦察分开，能够更清晰地评估各自的性能，避免侦察噪声对利用能力的干扰。
技术框架：整体架构分为两个主要阶段：第一阶段为侦察，收集漏洞信息；第二阶段为利用执行，基于侦察结果进行攻击。框架通过真实注入和知识驱动的消融实验来评估性能。
关键创新：最重要的创新在于将侦察与利用分开评估，这一方法与现有的端到端黑箱评估方法本质上不同，能够更准确地反映各自的能力。
关键设计：在实验中，使用了70个高保真网络漏洞测试平台，并对五种不同架构的开源渗透测试代理进行了评估，确保了评估的全面性和准确性。
📊 实验亮点
实验结果显示，在准确的漏洞上下文下，渗透测试代理的功能成功率高达90.0%，而自主侦察的目标漏洞召回率仅为50.0%。这表明解耦评估框架能够显著提升对渗透测试能力的理解和评估。
🎯 应用场景
该研究的潜在应用领域包括网络安全、自动化渗透测试和漏洞评估工具的开发。通过提供更准确的性能评估，该框架能够帮助安全专家更有效地设计和优化下一代自动化攻击代理，从而提高网络安全防护能力。
📄 摘要（原文）
Large Language Models (LLMs) have shown promise for automated penetration testing, yet existing end-to-end black-box evaluations are highly susceptible to error cascading: failures in early reconnaissance can mask an agent's actual ability to exploit vulnerabilities. To more accurately characterize these capabilities, we propose a two-stage decoupled evaluation framework that separates exploit execution from reconnaissance. Using ground-truth injection and knowledge-driven ablation across 70 high-fidelity web vulnerability testbeds, our framework isolates exploitation performance from reconnaissance noise. We empirically evaluate five open-source penetration-testing agents, covering multiagent, monolithic, and graph-driven architectures, on a strictly aligned subset of 50 representative vulnerabilities. The results reveal a substantial capability gap. With accurate vulnerability context, agents achieve a functional success rate of up to 90.0%, whereas autonomous reconnaissance, measured by targeted vulnerability recall, plateaus at approximately 50.0%, primarily due to failures in parsing unstructured telemetry. Cross-architectural analysis further reveals distinct capability niches: multi-agent isolation is more effective for long-sequence interactions such as de-serialization, while monolithic and graph-driven designs perform better on short-chain injections and cross-session access-control vulnerabilities, respectively. This decoupled evaluation work provides a fine-grained benchmarking protocol and an empirical basis for designing next-generation automated offensive security agents.