The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems

📄 arXiv: 2606.13079 📥 PDF

作者: Jiaqi Luo, Jiarun Dai, Zhile Chen, Jia Xu, Weibing Wang, Yawen Duan, Brian Tse, Geng Hong, Xudong Pan, Yuan Zhang, Min Yang

分类: cs.CR, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出新的自主渗透评估框架以解决现有方法不足问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主渗透 网络安全 长语言模型 渗透测试 AI评估

📋 核心要点

  1. 现有评估方法存在不透明性、场景简化和过多先验知识等问题，无法准确评估AI系统的自主渗透能力。
  2. 本文提出了一个新的自主渗透评估框架，设计了两级目标环境，并采用通用代理架构，避免了目标特定的先验知识。
  3. 实验结果表明，19个开源和专有LLM的渗透成功率在10.7%到69.3%之间，且自主渗透能力随着模型能力的提升而改善。

📝 摘要（中文）

如今，自主执行能够造成实质性现实世界伤害的网络攻击被广泛视为前沿AI系统必须避免的关键红线。在这一背景下，自主渗透能力作为核心使能能力，指的是LLM驱动的AI系统能够独立进行针对目标服务器的对抗性操作，识别和利用漏洞，获取未授权访问或控制。现有评估方法往往采用不透明的方式，依赖于不切实际或过于简化的渗透测试场景，或给予LLM过多的先验知识和任务特定指导，无法准确捕捉现代AI系统在更广泛的高影响网络攻击场景中自主执行这一核心能力的程度。为了解决这些局限性，本文构建了一个新的自主渗透评估框架，包括目标服务器和代理支架两个组成部分。

🔬 方法详解

问题定义：本文旨在解决现有AI系统自主渗透能力评估方法的不透明性和不切实际的问题。现有方法往往无法真实反映AI系统在复杂网络攻击场景中的表现。

核心思路：论文提出了一种新的评估框架，设计了不同安全服务数量的目标环境，并使用通用代理架构，确保评估过程不依赖于特定的先验知识。

技术框架：整体架构包括两个主要模块：目标服务器和代理支架。目标服务器分为Tier~1和Tier~2，分别对应不同数量的安全服务，而代理支架则配备了一套通用的网络安全工具。

关键创新：最重要的创新在于构建了一个多层次的目标环境，能够更真实地模拟网络攻击场景，同时避免了对模型的过度引导，使得评估结果更具可信度。

关键设计：在目标服务器设计中，设置了300个目标服务器，分别对应不同的安全服务配置；代理支架则采用了通用的网络安全工具，确保评估的广泛适用性。

📊 实验亮点

实验结果显示，19个评估的LLM在渗透成功率方面表现不一，范围从10.7%到69.3%。此外，随着模型能力的提升，自主渗透能力也显著改善，表明模型的进步直接影响其在复杂攻击场景中的表现。

🎯 应用场景

该研究的潜在应用领域包括网络安全评估、渗透测试和AI安全研究。通过提供一个更真实的评估框架，能够帮助安全研究人员和企业更好地理解和提升AI系统在网络攻击中的表现，从而增强整体网络安全防护能力。

📄 摘要（原文）

Nowadays, the autonomous execution of cyberattacks capable of causing substantial real-world harm is widely regarded as one of the critical red lines that frontier AI systems must not cross. Within this broader red-line scenario, autonomous penetration represents a core enabling capability and subtask: the ability of LLM-powered AI systems to independently conduct adversarial operations against a target server without human intervention, identify and exploit vulnerabilities, and obtain unauthorized access or control. A growing body of work has sought to assess the autonomous penetration capabilities of AI systems. However, existing evaluations often employ opaque methodologies, rely on unrealistic or overly simplified penetration-testing scenarios, or provide LLMs with excessive prior knowledge and task-specific guidance, and cannot accurately capture the extent to which modern AI systems can autonomously perform this core capability within broader high-impact cyberattack scenarios.To address these limitations, we construct a new autonomous penetration evaluation framework consisting of two components: target servers and agent scaffolding. Specifically, on the target-server side, we design two levels of target environments based on the number of secure services without known vulnerabilities deployed alongside a vulnerable service: Tier~1 (one secure service) and Tier~2 (three secure services), resulting in a total of 300 target servers. Meanwhile, the agent scaffolding adopts a general-purpose agent architecture equipped with a set of general-purpose cybersecurity tools, without any target-specific prior knowledge. We evaluate 19 open-weight and proprietary LLMs, and find that current models achieve penetration success rates ranging from 10.7% to 69.3%. Moreover, we observe that autonomous penetration capability continues to improve alongside advances in overall model capability.