On Understanding, Identifying, and Mitigating Vulnerabilities in Agentic Large Language Models
作者: Md Jafrin Hossain, Mohammad Arif Hossain, Nirwan Ansari
分类: cs.CR, cs.AI
发布日期: 2026-08-11
💡 一句话要点
提出四层分类法以识别和缓解大型语言模型的安全漏洞
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 安全漏洞 自主代理 四层分类法 系统文献综述 感知层 行动层 风险管理
📋 核心要点
- 现有的安全研究未能跟上大型语言模型在真实世界应用中的复杂性，导致潜在的安全漏洞未被充分识别和缓解。
- 论文提出了一种四层分类法，系统地识别和分类大型语言模型中的安全漏洞，旨在提高对这些漏洞的理解和应对能力。
- 通过对743条记录的筛选，最终保留85篇相关论文，发现攻击研究数量远超防御研究，且感知层漏洞占主导地位。
📝 摘要（中文）
大型语言模型（LLMs）已从无状态的对话接口转变为能够进行多步骤规划、工具调用、代码执行和持久记忆的自主代理。当这些代理在具有现实世界权限的情况下操作时，推理步骤的漏洞可能导致未授权的数据访问、不可逆的状态变化或级联故障。然而，安全研究界对此的关注尚未跟上。本文通过系统文献综述，量化了该领域的现状，提出了一个四层分类法，映射了感知、脑、行动和交互层的13种漏洞类型，并识别了七个以控制为中心的开放问题。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在自主代理应用中存在的安全漏洞问题，现有方法未能有效识别和缓解这些漏洞，导致潜在的安全风险。
核心思路：论文提出了一种四层分类法，涵盖感知、脑、行动和交互层，系统性地映射和分析13种漏洞类型，以便更好地理解和应对这些安全问题。
技术框架：整体架构分为四个主要层次：感知层（处理输入和提示）、脑层（推理和决策）、行动层（执行操作）和交互层（与用户或其他系统的交互），每一层都有其特定的漏洞类型。
关键创新：最重要的创新在于提出了四层分类法，系统地识别和分类不同层次的漏洞，这一方法与现有的单一层次分析方法有本质区别，能够更全面地反映安全风险。
关键设计：在分类过程中，论文详细分析了每层的漏洞类型及其影响，特别关注感知层的漏洞（如提示注入和对抗扰动）和行动层的漏洞（如工具误用和代码注入），并提出了针对性的缓解策略。
🖼️ 关键图片
📊 实验亮点
研究发现，攻击研究数量是防御研究的3.9倍，感知层漏洞占据66%的文献，显示出当前安全研究的严重失衡。通过提出的四层分类法，能够更有效地识别和应对这些漏洞，提升安全防护能力。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和自动化系统等高风险行业，在这些领域中，大型语言模型的安全性至关重要。通过识别和缓解安全漏洞，可以提高系统的可靠性和用户信任，从而推动智能代理技术的广泛应用。
📄 摘要（原文）
Large Language Models (LLMs) have undergone a shift from stateless conversational interfaces to autonomous agents capable of multi-step planning, tool invocation, code execution, and maintaining persistent memory. When these agents operate with real-world privileges---calling APIs, modifying files, and querying databases---a compromised reasoning step can trigger unauthorized data access, irreversible state changes, or cascading failures, yet the security research community has not kept pace. To quantify the state of the field, we conducted a systematic literature review under PRISMA 2020 guidelines across six databases, screening 743 records and retaining 85 papers (2023--2025) on agentic LLM security. Attack research outpaces defense work by 3.9:1. Perception-layer vulnerabilities (prompt injection, jailbreaking, adversarial perturbations) dominate, accounting for 66\% of papers, while action-layer vulnerabilities (tool misuse, code injection, sandbox escape) appear in only 4.7\%, misaligned with real-world risk. Code execution security accounts for 3.5\%, and tool-augmented agents 12\%. We contribute a four-layer taxonomy mapping 13 vulnerability types across perception, brain, action, and interaction layers, and identify seven open problems centered on containment. Agentic LLM insecurity stems from architectural coupling, where weak isolation allows vulnerabilities to propagate across layers.