SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

📄 arXiv: 2607.26791v1 📥 PDF

作者: Lehan Wang, Boli Chen, Ruixue Ding, Pengjun Xie, Jinwei Huang, Zhendong Liu, Shuo Wang, Tao Lei, Xin Ouyang, Xiaomeng Li

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-07-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出SecRespond以解决后渗透事件响应评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后渗透响应 大型语言模型 网络安全 事件响应 取证分析 安全评估 ATT&CK技术

📋 核心要点

  1. 现有的网络安全基准主要集中在攻击前的理想环境，后渗透场景的评估尚未得到充分重视。
  2. 本文提出SecRespond基准，专注于后渗透事件响应，要求代理生成取证报告和修复计划。
  3. 实验结果表明，尽管当前代理能识别警报问题，但在主动调查和生成全面修复计划方面表现不佳。

📝 摘要（中文）

随着大型语言模型（LLM）在实际安全操作中的广泛应用，评估其安全能力变得至关重要。然而，现有的网络安全基准主要集中在攻击前的理想环境中，后渗透场景尚未得到充分探索。为此，本文提出了SecRespond，这是第一个用于评估LLM代理在后渗透事件响应工作流程中的基准。该基准要求代理在给定的取证磁盘快照及安全产品报告的基础上，生成入侵、基线风险和漏洞风险的取证报告及修复计划。通过在10个网络范围内进行评估，结果显示当前代理在识别警报问题方面表现可靠，但在主动调查隐蔽入侵和生成全面的修复计划方面存在显著不足。

🔬 方法详解

问题定义：本文旨在解决后渗透事件响应中对大型语言模型（LLM）代理评估的缺乏，现有方法未能有效应对真实世界中的复杂场景。

核心思路：通过引入SecRespond基准，评估LLM代理在处理取证磁盘快照及相关安全报告时的能力，旨在填补后渗透场景的评估空白。

技术框架：SecRespond基准包括10个网络范围，每个范围基于不同的被攻陷云主机构建，涵盖4种入侵入口类型、21种ATT&CK技术和5种操作系统。代理需在此框架下生成入侵报告和修复计划。

关键创新：SecRespond是首个针对后渗透事件响应的基准，强调了在真实环境中评估LLM代理的必要性，揭示了当前技术在主动调查和修复计划生成方面的瓶颈。

关键设计：在实验中，使用了23种前沿LLM，并通过OpenCode代理框架进行评估，关注模型在识别隐蔽入侵和生成验证修复计划方面的表现。实验结果显示，未有模型在任何单一范围内实现完全检测和修复。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，尽管当前的LLM代理能够可靠地识别警报问题，但在主动调查隐蔽入侵和生成全面的修复计划方面存在显著不足，未有模型在任何单一网络范围内实现完全检测和修复，揭示了当前技术的根本瓶颈。

🎯 应用场景

该研究的潜在应用领域包括网络安全、事件响应和取证分析。SecRespond基准的提出为评估和提升LLM在实际安全操作中的应用能力提供了新的方向，未来可能推动更智能的安全代理的发展，从而提高网络安全防护水平。

📄 摘要（原文）

Large Language Model (LLM) agents are increasingly adopted in real-world security operations with access to host artifacts and command-line interfaces (CLIs), making it critical to thoroughly assess their security capabilities. However, existing cybersecurity benchmarks focus on pre-compromise settings where agents are placed in a clean and idealized environment before an attack occurs. This leaves the post-compromise setting underexplored. To address this gap, we introduce SecRespond, the first benchmark for evaluating LLM agents on the post-compromise incident-response workflow. Given a forensic disk snapshot of a compromised host together with the alerts, vulnerability scans, and baseline checks reported by a host security product, agents are required to produce forensic reports on intrusions, baseline risks, and vulnerability risks, together with a remediation plan. We instantiate this task across 10 cyber ranges, each constructed from a distinct compromised cloud host, spanning 4 entry-point types, 21 ATT&CK techniques, and 5 operating systems. We evaluate 23 frontier LLMs on the OpenCode agent harness. Experimental results show that although current agents can reliably uncover the problems exposed by alerts, they struggle to proactively investigate the disk for silent intrusions and to produce comprehensive, verified remediation plans, with no model achieving complete detection and remediation on any single range. This reveals a fundamental bottleneck in building agents for real-world incident response. The benchmark is publicly available at https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond.