DYNAS: A Dynamic Network Penetration Testing Framework Using Deep Hierarchical Reinforcement Learning

📄 arXiv: 2610.40214v1 📥 PDF

作者: Md. Rakibul Hassan, Majedul Islam, Md. Ashraful Alam, Muhammad Iqbal Hossain, Swakkhar Shatabda

分类: cs.CR, cs.LG, cs.NI

发布日期: 2026-10-29

备注: Accepted at the NSS 2026: 20th International Conference on Network and System Security (submission version)

💡 一句话要点

提出DYNAS框架以解决动态网络渗透测试问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 动态网络 渗透测试 深度强化学习 入侵检测 场景生成 网络安全 策略优化

📋 核心要点

  1. 现有的渗透测试方法在面对动态网络环境时，难以有效评估防御策略的有效性，尤其是在不稳定条件下。
  2. DYNAS框架通过结合参数化的大规模场景生成和状态感知的入侵检测响应，提供了一种新的渗透测试方法。
  3. 实验结果显示，Pen-DHRL在多个场景中相比于基线方法，奖励提升约64%至24%，捕获主机数量提升约30%至26%。

📝 摘要（中文）

随着网络规模和不确定性增加，自动化渗透测试变得愈加复杂。本文提出了DYNAS（动态网络攻击模拟器），结合了大规模场景生成与状态感知的入侵检测响应，显式的扫描假阳性和假阴性噪声、临时服务不可用性以及基于持续时间的动作超时。我们还引入了Pen-DHRL，这是一种递归的管理-工作者策略，利用IDS条件下的全局上下文选择持久子目标。实验结果表明，Pen-DHRL在多个场景和训练模式下表现优异，显著提高了奖励和捕获主机数量。

🔬 方法详解

问题定义：本文旨在解决在动态和不确定网络环境中进行自动化渗透测试的挑战。现有方法往往无法有效应对复杂的防御机制和网络变化，导致测试结果不准确。

核心思路：DYNAS框架通过引入动态场景生成和状态感知的入侵检测响应，结合深度层次强化学习，提升渗透测试的有效性和适应性。Pen-DHRL策略通过选择持久子目标来优化攻击策略。

技术框架：DYNAS的整体架构包括场景生成模块、入侵检测响应模块和强化学习训练模块。场景生成模块负责创建复杂的网络环境，入侵检测模块则实时反馈网络状态，强化学习模块则根据反馈调整攻击策略。

关键创新：最重要的创新在于引入了Pen-DHRL策略，该策略能够在动态环境中有效选择攻击目标，并利用IDS提供的全局上下文信息进行优化。这与传统方法的静态目标选择形成鲜明对比。

关键设计：在设计中，DYNAS采用了多种参数设置以模拟真实网络环境，包括假阳性和假阴性噪声、服务不可用性等。此外，Pen-DHRL的网络结构采用递归神经网络，以更好地处理时间序列数据。实验中使用的损失函数和奖励机制也经过精心设计，以确保学习过程的有效性。

📊 实验亮点

实验结果显示，Pen-DHRL在IDS禁用训练后进行IDS启用评估时，在Bridge和Dynamic场景中分别获得约64%和24%的奖励提升，并在VarA和VarB场景中捕获主机数量分别提高约26%和30%。在所有防御动态从训练开始就激活的情况下，Pen-DHRL在所有四个场景中均实现了正的平均回报，而基线方法则在12个架构-场景组合中产生负回报。

🎯 应用场景

DYNAS框架具有广泛的应用潜力，特别是在网络安全领域。它可以用于评估和优化各种网络防御策略，帮助安全专家识别系统中的脆弱性。此外，该框架的动态特性使其适用于快速变化的网络环境，具有重要的实际价值和未来影响。

📄 摘要（原文）

As network scale and uncertainty complicate automated penetration testing, reinforcement learning (RL) environments must support controlled evaluation under defensive and non-stationary conditions. We present DYNAS (Dynamic Network Attack Simulator), which combines parameterized large-scale scenario generation with stateful intrusion detection responses, explicit scan false-positive and false-negative noise, temporary service unavailability, and duration-based action timeouts. We further introduce Pen-DHRL, a recurrent manager--worker policy that selects persistent subgoals using IDS-conditioned global context. We compare Pen-DHRL with GNN, Invariant, and Attention baselines across four scenario variants and multiple training regimes. Under IDS-disabled training followed by IDS-enabled evaluation, Pen-DHRL obtains approximately 64\% and 24\% higher reward per step on Bridge and Dynamic, respectively, and approximately 26\% and 30\% more captured hosts on VarA and VarB than the next-best baseline. With all defensive dynamics active from the beginning of training, Pen-DHRL achieves positive mean episode returns in all four scenarios, whereas the flat baselines produce negative mean returns in all 12 architecture--scenario combinations; staged curriculum training produces positive mean returns across all 16 evaluated combinations.