ACDZero: Graph-Embedding-Based Tree Search for Mastering Automated Cyber Defense

📄 arXiv: 2601.02196v1 📥 PDF

作者: Yu Li, Sizhe Tang, Rongqian Chen, Fei Xu Yu, Guangyu Jiang, Mahdi Imani, Nathaniel D. Bastian, Tian Lan

分类: cs.LG

发布日期: 2026-01-05

💡 一句话要点

ACDZero：基于图嵌入树搜索的自动化网络防御方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动化网络防御 图神经网络 蒙特卡洛树搜索 强化学习 网络安全 CAGE挑战赛 图嵌入

📋 核心要点

  1. 现有深度强化学习方法在复杂网络防御中面临探索困难，需要大量样本。
  2. 提出基于蒙特卡洛树搜索的防御策略，显式建模探索-利用权衡，并使用图神经网络嵌入网络观测。
  3. 实验表明，该方法在防御奖励和鲁棒性方面优于现有强化学习基线。

📝 摘要（中文）

自动化网络防御(ACD)旨在以最小或无人为干预的方式保护计算机网络，通过采取隔离主机、重置服务、部署诱饵或更新访问控制等纠正措施来应对入侵。然而，现有的ACD方法，如深度强化学习(RL)，在具有大决策/状态空间的复杂网络中经常面临困难的探索，因此需要大量的样本。受学习样本高效防御策略需求的启发，我们将CAGE Challenge 4 (CAGE-4 / CC4)中的ACD构建为基于上下文的部分可观察马尔可夫决策问题，并提出了一种基于蒙特卡洛树搜索(MCTS)的以规划为中心的防御策略。它显式地模拟了ACD中的探索-利用权衡，并使用统计抽样来指导探索和决策。我们创新性地利用图神经网络(GNN)来嵌入来自网络的观测作为属性图，以实现对主机及其关系的置换不变推理。为了使我们的解决方案在复杂的搜索空间中实用，我们使用学习的图嵌入和图编辑动作的先验来指导MCTS，将无模型泛化和策略蒸馏与前瞻规划相结合。我们在涉及不同网络结构和对抗行为的CC4场景中评估了生成的代理，并表明我们基于搜索引导、图嵌入的规划提高了相对于最先进的RL基线的防御奖励和鲁棒性。

🔬 方法详解

问题定义：论文旨在解决自动化网络防御（ACD）中，现有深度强化学习方法在复杂网络环境下样本效率低下的问题。在大型状态空间和动作空间中，智能体难以有效探索，导致训练需要大量数据，限制了其在实际场景中的应用。CAGE Challenge 4 (CC4) 提供了一个标准化的ACD环境，但现有方法难以在该环境中取得良好效果。

核心思路：论文的核心思路是将ACD问题建模为部分可观察马尔可夫决策过程（POMDP），并利用蒙特卡洛树搜索（MCTS）进行规划。通过MCTS，智能体可以进行前瞻性搜索，评估不同防御动作的潜在影响，从而更好地进行决策。同时，利用图神经网络（GNN）对网络状态进行编码，提取关键信息，并指导MCTS的搜索过程。

技术框架：整体框架包含以下几个主要模块：1) 环境交互：智能体与网络环境交互，获取观测信息。2) 图嵌入：使用GNN将网络观测编码为图嵌入向量，捕捉网络拓扑结构和节点属性信息。3) MCTS搜索：利用图嵌入向量指导MCTS的搜索过程，评估不同防御动作的价值。4) 策略选择：根据MCTS的搜索结果，选择最优的防御动作。5) 策略更新：使用策略蒸馏方法，将MCTS的搜索结果转化为可学习的策略，提高泛化能力。

关键创新：论文的关键创新在于将图嵌入和MCTS相结合，用于自动化网络防御。具体来说，利用GNN对网络状态进行编码，提取关键信息，并将其作为MCTS的先验知识，指导搜索过程，从而提高搜索效率和决策质量。与传统的强化学习方法相比，该方法能够更好地利用网络结构信息，并在样本效率方面具有优势。

关键设计：GNN的具体结构选择了消息传递网络（Message Passing Neural Network），用于学习节点表示。MCTS的搜索策略采用了UCT（Upper Confidence Bound 1 applied to Trees）算法，平衡了探索和利用。损失函数包括策略蒸馏损失和价值函数损失，用于训练GNN和策略网络。图编辑动作的设计考虑了网络防御的实际需求，包括隔离主机、重置服务等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ACDZero在CC4挑战赛中取得了显著的性能提升，相对于最先进的强化学习基线，防御奖励和鲁棒性均有提高。具体数据未知，但论文强调了在不同网络结构和对抗行为下的有效性，证明了基于搜索引导和图嵌入的规划方法在自动化网络防御中的优势。

🎯 应用场景

该研究成果可应用于自动化网络安全防御系统，提升网络安全防护能力，减少人工干预。在关键基础设施保护、企业网络安全、智能城市安全等领域具有广泛的应用前景。未来可进一步研究如何应对更复杂的攻击场景，提高防御系统的自适应性和鲁棒性。

📄 摘要（原文）

Automated cyber defense (ACD) seeks to protect computer networks with minimal or no human intervention, reacting to intrusions by taking corrective actions such as isolating hosts, resetting services, deploying decoys, or updating access controls. However, existing approaches for ACD, such as deep reinforcement learning (RL), often face difficult exploration in complex networks with large decision/state spaces and thus require an expensive amount of samples. Inspired by the need to learn sample-efficient defense policies, we frame ACD in CAGE Challenge 4 (CAGE-4 / CC4) as a context-based partially observable Markov decision problem and propose a planning-centric defense policy based on Monte Carlo Tree Search (MCTS). It explicitly models the exploration-exploitation tradeoff in ACD and uses statistical sampling to guide exploration and decision making. We make novel use of graph neural networks (GNNs) to embed observations from the network as attributed graphs, to enable permutation-invariant reasoning over hosts and their relationships. To make our solution practical in complex search spaces, we guide MCTS with learned graph embeddings and priors over graph-edit actions, combining model-free generalization and policy distillation with look-ahead planning. We evaluate the resulting agent on CC4 scenarios involving diverse network structures and adversary behaviors, and show that our search-guided, graph-embedding-based planning improves defense reward and robustness relative to state-of-the-art RL baselines.