Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making

📄 arXiv: 2608.20966v1 📥 PDF

作者: Pasquale Malacaria, Yunxiao Zhang

分类: cs.CR, cs.AI

发布日期: 2026-08-21

备注: 31 pages, 10 figures

💡 一句话要点

探讨大型语言模型在网络安全决策中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 网络安全 结构化推理 攻击图 防御策略 博弈论优化 脆弱性分析

📋 核心要点

  1. 现有方法在网络安全决策中依赖于表面线索，缺乏结构化推理能力，导致效果不佳。
  2. 论文通过对真实威胁场景的攻击图进行分析，探讨LLMs在防御选择中的表现，提出了基于结构的评估方法。
  3. 实验结果表明，LLMs在明确结构下表现良好，但在复杂情况下表现脆弱，且评估结果受提示影响显著。

📝 摘要（中文）

大型语言模型（LLMs）在网络安全工作流程中的应用日益增多，但它们是否能够进行结构化的安全推理仍不明确。本文研究了LLMs在真实威胁场景下的防御选择能力，包括勒索软件、供应链攻击、云滥用等。研究发现，当提供明确的攻击图结构时，LLMs能够生成接近优化基线的连贯策略，但其能力在图的复杂性增加时变得脆弱，且对提示的微小变化高度敏感。此外，LLMs的评估与正式风险之间存在非单调关系，最优策略不一定被评估为最高。总体而言，LLMs在受控表示下可以近似结构化的网络安全推理，但缺乏稳健性，这对AI辅助的安全决策支持系统的设计和评估具有重要影响。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在网络安全决策中的结构化推理能力，现有方法往往依赖于表面信息，缺乏深度分析，导致决策效果不理想。

核心思路：通过构建真实威胁场景的攻击图，评估LLMs在防御选择中的表现，比较其策略与基于博弈论的优化基线的差异，分析其在不同复杂度下的表现。

技术框架：研究首先构建攻击图，接着使用LLMs生成防御策略，并与博弈论优化基线进行比较，最后分析LLMs的评估结果与正式风险之间的关系。

关键创新：本文的创新在于系统性地评估LLMs在网络安全决策中的能力，揭示了其在结构化推理中的脆弱性，尤其是在复杂场景下的表现不稳定。

关键设计：研究中使用了明确的攻击图结构作为输入，设置了预算约束，并通过不同的提示设计来观察LLMs的策略生成和评估变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当提供明确的攻击图结构时，LLMs的策略接近博弈论优化基线。然而，随着攻击图复杂性的增加，LLMs的表现显著下降，且对提示的微小变化极为敏感，显示出其评估的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括网络安全决策支持系统的设计与优化，尤其是在复杂威胁环境下的防御策略选择。通过理解LLMs的局限性，可以更好地设计辅助工具，提高网络安全防护能力，降低攻击成功率。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in cybersecurity workflows, yet it remains unclear whether they can perform structured security reasoning or merely rely on superficial cues and prior knowledge. We study this question in the context of defence selection over attack graphs derived from real-world threat scenarios, including ransomware, supply-chain compromise, cloud abuse, Kubernetes attacks, POS malware, and ICS/OT intrusion. Given a budget constraint, LLMs must select security controls to minimise attacker success. We compare their strategies against each other and against a game-theoretic optimization baseline used as a normative reference for structured reasoning. Our results show that LLMs exhibit conditional competence. When explicit attack-graph structure is provided, they often produce coherent strategies close to the optimization baseline. However, their capabilities are fragile. LLM behaviour becomes increasingly fragile with graph complexity and is highly sensitive to framing. Small prompt changes can substantially alter rankings, and merely relabeling a poor strategy as ``optimal'' dramatically improves its evaluation. We further observe a non-monotonic relationship between formal risk and LLM judgement: strategies closest to the optimum are not necessarily ranked highest by LLM evaluators. To further probe reasoning ability, we ask LLMs to generate solvers for the same optimization problem. While the generated implementations recover the correct high-level formulation, they scale poorly compared to a purpose-built solver. Overall, our findings show that LLMs can approximate structured cybersecurity reasoning under controlled representations, but do not apply it robustly. This has important implications for the design and evaluation of AI-assisted security decision-support systems.