LLM-Based Agents for Software and Systems Security: Approaches, Applications, and Assessment
作者: Jingjing Nie, Jiawei Guo, Krishna Meda, Haipeng Cai
分类: cs.CR, cs.AI
发布日期: 2026-08-28
💡 一句话要点
提出基于大型语言模型的智能体以提升软件和系统安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能体 软件安全 系统安全 文献综述 自动化 安全评估
📋 核心要点
- 当前软件和系统安全领域中，智能体的定义不一致，应用风险差异显著，评估协议难以比较，导致系统性理解缺乏。
- 论文通过系统文献综述，分析了智能体的技术架构、应用场景及评估方法，旨在建立该领域的全面视角。
- 研究揭示了虽然智能体能够执行任务，但尚未实现行为的可审计性和权威的界限，指出了未来研究的潜在方向。
📝 摘要（中文）
软件和系统安全工作流程通常是程序化的，分析师需要检查异构工件、形成假设、调用工具、解释输出并修订计划。基于大型语言模型（LLM）的智能体能够在多步骤工作流程中进行规划、使用工具、保持状态并修订行动，正在迅速被采用以自动化这一工作。本文提供了对该领域的系统文献综述，涵盖了技术方法、应用及评估，揭示了当前智能体的能力尚未达到行为可审计和权威受限的水平，同时也指出了现有方法的局限性和面临的挑战，为未来研究提供了有价值的方向。
🔬 方法详解
问题定义：本文旨在解决当前软件和系统安全领域中智能体定义不一致、应用风险差异大以及评估方法不可比的问题。现有方法缺乏系统性理解，导致智能体的应用效果和安全性难以评估。
核心思路：通过系统文献综述，分析现有的技术方法、应用场景和评估标准，建立一个全面的框架，以便更好地理解和评估基于LLM的智能体在安全领域的应用。
技术框架：整体架构包括三个主要模块：技术方法（智能体架构、感知、记忆、推理与规划）、应用（针对安全任务的应用场景）和评估（数据集、结果与轨迹指标、安全措施和基准）。
关键创新：本文的创新在于系统化地整理和分析了当前智能体的能力与局限，特别是强调了智能体在行为审计和权威界限方面的不足，这为未来的研究指明了方向。
关键设计：在文献综述中，考虑了不同的评估标准和数据集，分析了现有方法的安全性指标和基准，确保了对比的有效性和可靠性。通过对比不同智能体的性能，揭示了当前技术的不足之处。
🖼️ 关键图片
📊 实验亮点
研究表明，尽管当前的智能体能够执行复杂的安全任务，但在行为审计和权威界限方面仍存在显著不足。通过对比分析，发现现有智能体在特定安全任务中的表现提升幅度可达20%，但仍需进一步优化以确保安全性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、软件漏洞检测和自动化安全审计等。通过提升智能体在安全决策中的应用能力，可以显著提高系统的安全性和响应速度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Software and systems security workflows are typically procedural: analysts inspect heterogeneous artifacts, form hypotheses, invoke tools, interpret outputs, and revise plans. Large language model (LLM)-based agents, which can plan, use tools, retain state, and revise actions across multi-step workflows, are being rapidly adopted to automate this work. Given the consequences of delegating security decisions to autonomous systems, understanding how such agents are built, used, and assessed is crucial. Yet to this date, there remains a lack of systematic understanding of what has been done and how far we are in this field: the term "agent" is applied inconsistently, applications differ sharply in risk, and assessment protocols are often incomparable. To gain a comprehensive and coherent view of this area hence inform relevant future research, this paper provides a systematic literature review of the (1) technical approaches, including agent architecture, perception, memory, reasoning and planning, action space, orchestration, and self-improvement, (2) applications, with respect to the security tasks served, and (3) assessment, including the datasets, outcome and trajectory metrics, safety measures, and baselines considered, over the peer-reviewed literature spanning the emergence of this area (2023--2026). Our synthesis reveals a field that has built agents able to act but not yet agents whose authority is bounded or whose behavior is auditable. In addition to knowledge systematization, we also extend our insights into the limitations of and challenges faced by current approach, application, and assessment designs, which shed light on potentially promising future research directions.