SENTINEL-RL: Offloading Topological Reasoning from LLM Agents in the Security Operations Center
作者: Uday Vallabhaneni, Cassie L. Cagwin, David J. Wild
分类: cs.CR, cs.AI
发布日期: 2026-09-03
💡 一句话要点
提出SENTINEL-RL以解决大型语言模型在安全运营中心的局限性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全运营中心 大型语言模型 拓扑推理 图注意力网络 近端策略优化 网络安全 实时决策 企业应用
📋 核心要点
- 现有的LLM代理在处理大规模企业环境时，因上下文窗口有限和生成内容不一致而显得不可靠。
- SENTINEL-RL通过将拓扑推理与语义推理分离，采用图注意力编码器和PPO策略优化来提升分析效率和准确性。
- 实验结果显示，该系统在数据加载、警报引擎响应、PPO训练收敛及完整循环时间等方面均显著优于传统方法。
📝 摘要（中文）
大型语言模型（LLM）代理被提议作为自主的安全运营中心（SOC）分析师，但其在企业规模应用中存在两个主要局限性：有限的上下文窗口无法容纳多千主机的认证图，以及自由形式生成无法保证推荐的隔离行动与其操作的拓扑一致。本文提出了SENTINEL-RL，一种将拓扑推理与语义推理解耦的代理SOC架构。该架构利用异构图注意力编码器将实时认证子图总结为固定维度状态，采用近端策略优化（PPO）将该状态映射到一组受限的调查行动，LLM代理循环仅限于消费策略的推荐并生成分析师可读的叙述。我们在LANL综合多源网络安全事件数据集和印第安纳大学Quartz HPC集群上实例化该系统，并报告了四项结果。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在安全运营中心分析中的局限性，特别是其在处理复杂认证图时的上下文限制和生成内容的一致性问题。
核心思路：通过将拓扑推理与语义推理解耦，SENTINEL-RL采用异构图注意力编码器来总结认证子图，并使用PPO策略优化来限制可执行的调查行动，从而提高分析的可靠性和效率。
技术框架：该架构包括三个主要模块：异构图注意力编码器用于状态总结，PPO策略优化器用于生成受限行动，LLM代理循环用于生成分析师可读的叙述。
关键创新：最重要的创新在于将拓扑推理与语义推理分离，使得系统能够在复杂环境中高效运行，避免了传统方法中的上下文限制和生成不一致的问题。
关键设计：在技术细节上，采用了24M边的认证子图加载到Neo4j的两阶段CREATE模式，PPO训练经过200次迭代后收敛到均值回报8.74，且在红队事件上具有0.91的精确率和0.87的召回率。
🖼️ 关键图片
📊 实验亮点
在实验中，SENTINEL-RL展示了显著的性能提升：在单个32核节点上，24M边的认证子图加载速度比传统MERGE管道快约24倍，警报引擎在50次试验中以<=2.5秒的时间响应25事件/10秒的阈值，PPO训练的精确率和召回率分别达到了0.91和0.87，完整循环的中位时间为6.3秒。
🎯 应用场景
SENTINEL-RL的设计适用于大型企业的安全运营中心，能够有效处理复杂的网络安全事件，提升分析师的工作效率和决策质量。未来，该系统有潜力在其他需要实时决策支持的领域，如金融监控和智能制造等，发挥重要作用。
📄 摘要（原文）
Large language model (LLM) agents are increasingly proposed as autonomous SOC analysts, but two limitations make them unreliable at enterprise scale: a finite context window cannot hold a multi-thousand-host authentication graph, and free-form generation offers no guarantee that a recommended containment action is consistent with the topology it operates on. We present Sentinel-RL, an agentic-SOC architecture that decouples topological reasoning from semantic reasoning: a heterogeneous graph attention encoder summarizes the live authentication subgraph into a fixed-dimensional state, a Proximal Policy Optimization (PPO) policy maps this state to a constrained set of investigative actions, and an LLM agent loop is restricted to consuming the policy's recommendations and producing analyst-readable narratives gated by a critic. We instantiate the system on the LANL Comprehensive, Multi-Source Cyber-Security Events dataset and the Indiana University Quartz HPC cluster, reporting four results: (i) a two-phase CREATE ingestion pattern loads a 24M-edge authentication subgraph into Neo4j in 14.2 minutes on a single 32-core node, roughly 24x faster than the canonical MERGE-based pipeline; (ii) a sliding-window alert engine reliably trips a 25-event/10-second threshold in <=2.5 s across 50 trials; (iii) PPO training over 200 iterations converges to a mean episodic return of 8.74+/-0.31, with held-out precision of 0.91 and recall of 0.87 on labeled red-team events; and (iv) the integrated containment loop completes a full detect-investigate-recommend-human-approve cycle in a median of 6.3 s. We contribute a reusable engineering pattern (the hot-node deadlock workaround), a portable HPC deployment pattern (anchor-node co-location), and an enterprise-readiness analysis covering false-positive economics, reversibility guarantees, audit compliance, and the human-approval boundary.