Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

📄 arXiv: 2608.04317v1 📥 PDF

作者: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

分类: cs.CR, cs.AI, cs.LG, cs.MA

发布日期: 2026-08-05

备注: code: https://anonymous.4open.science/r/Trident-A934

💡 一句话要点

提出Trident框架以增强深度强化学习网络防御能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度强化学习 网络安全 红队 动态基准 自适应威胁 攻击策略生成 代码即策略 机器学习

📋 核心要点

  1. 现有的深度强化学习网络防御系统主要针对静态启发式红队进行评估，缺乏对自适应威胁的研究。
  2. Trident框架通过动态基准、包含13000条高保真交互轨迹的数据集，以及“代码即策略”的RLVR架构，提供了新的解决方案。
  3. 实验证明，Trident在攻击性能上显著优于静态红队基线，平均提升蓝队防御性能522%。

📝 摘要（中文）

基于深度强化学习（DRL）的自主网络防御系统引起了广泛关注，但其对自适应威胁的鲁棒性研究仍显不足。为此，本文提出Trident，一个包含动态基准、丰富数据集和“代码即策略”架构的红队框架。通过对现有防御系统的评估，Trident展示了其在攻击策略生成和自适应行为发现方面的显著优势，显著提升了红队的攻击效果。

🔬 方法详解

问题定义：本文旨在解决现有深度强化学习网络防御系统在面对自适应威胁时的脆弱性，现有方法主要依赖静态启发式红队，缺乏动态评估。

核心思路：Trident框架通过引入动态基准和丰富的数据集，结合“代码即策略”的设计，重新定义红队训练，使其能够生成更有效的攻击策略。

技术框架：Trident由三个主要组件组成：动态基准环境、包含13000条交互轨迹的数据集，以及“代码即策略”的RLVR架构。动态基准环境使用隔离的沙箱服务器，支持多种攻击场景。

关键创新：Trident的核心创新在于将红队训练视为上下文赌博问题，通过三部分的设计（日志总结器、规划器、编码器）生成完整的攻击策略，显著提升了攻击的灵活性和有效性。

关键设计：规划器为可训练的模块，能够从压缩的执行日志中生成攻击策略；编码器则将这些策略转换为可执行的Python代码，直接应用于实时的DRL防御系统。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Trident框架在攻击性能上显著优于静态红队基线，平均提升蓝队防御性能522%。此外，Trident能够自主发现静态启发式方法未能识别的行为，如诱饵规避和自适应状态优先级调整。

🎯 应用场景

Trident框架可广泛应用于网络安全领域，尤其是在动态防御系统的测试与评估中。通过提供有效的攻击策略生成工具，Trident能够帮助安全研究人员和企业更好地理解和增强其网络防御能力，提升整体安全性。

📄 摘要（原文）

Autonomous cyber defense systems based on Deep Reinforcement Learning (DRL) have attracted significant research attention, yet remain evaluated almost exclusively against static, heuristic red agents, leaving their robustness against adaptive threats critically understudied. Meanwhile, recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) have improved LLM reasoning, but their integration into cybersecurity remains elusive due to the absence of suitable benchmark environments and interaction datasets. To bridge this gap, we introduce Trident, an agentic LLM red teaming framework comprising three components: a dynamic benchmark with isolated sandbox servers spanning CybORG CAGE 4 and CyberWheel, a dataset comprises over 13,000 high-fidelity red-blue interaction trajectories for RLVR, and a ``Code-as-Policy'' RLVR agentic architecture Trident Agentic). The latter reformulates red agent training as a contextual bandit via a tripartite Log Summarizer--Planner--Coder design, where a trainable Planner generates complete attack strategies from compressed execution logs, which a frozen Coder translates into executable Python policies deployed against live DRL defenders. Empirical evaluations reveal a fundamental brittleness in existing defenses: with a single trainable 7B planner, Trident reduces blue agent defensive performance by an average of 522% compared to static red agent baselines while autonomously discovering emergent behaviors such as decoy avoidance and adaptive state prioritization that static heuristics entirely fail to uncover.