LLMs for Zero-Shot Threat Detection via Structured Risk Indicators

📄 arXiv: 2608.16508v1 📥 PDF

作者: Abdullah Alghamdi, Siamak Layeghy, Marius Portmann

分类: cs.CR, cs.LG, cs.NI

发布日期: 2026-08-17

💡 一句话要点

提出双阶段LLM框架以实现零-shot威胁检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 威胁检测 大型语言模型 结构化风险指标 网络安全 检索增强生成 内部威胁 高级持续性威胁

📋 核心要点

  1. 现有方法在处理异构安全日志时，往往无法有效捕捉复杂的攻击模式，导致威胁检测的准确性不足。
  2. 本文提出的框架通过生成结构化的风险指标，结合用户历史活动的上下文信息，提升了威胁检测的准确性和可解释性。
  3. 实验结果表明，所提框架在两个数据集上均显著超越了现有的LLM框架，尤其是在较弱的模型上，检索增强技术的效果尤为明显。

📝 摘要（中文）

本文提出了一种双阶段的大型语言模型（LLM）框架，用于从异构安全日志中进行零-shot内部威胁和高级持续性威胁（APT）检测。该框架将用户活动建模为时间线，并结合检索增强生成（RAG）技术，从每个用户的历史活动中提供个性化的行为上下文。与直接从原始日志进行端到端分类不同，该方法首先生成结构化、可解释的威胁特定风险指标集，然后在时间序列中联合分类，以捕捉跨多个窗口的攻击模式。该框架在CERT r5.2和PicoDomain两个基准数据集上进行了评估，所有配置均优于之前的最先进的LLM框架（GABM），最佳配置在CERT r5.2上提高了11.40个百分点，在PicoDomain上提高了31.50个百分点。

🔬 方法详解

问题定义：本文旨在解决从异构安全日志中进行零-shot威胁检测的挑战。现有方法往往无法有效处理复杂的攻击模式，导致检测效果不佳。

核心思路：论文提出的双阶段LLM框架通过生成结构化的风险指标，结合用户的历史行为上下文，来提高威胁检测的准确性和可解释性。

技术框架：该框架分为两个主要阶段：第一阶段生成威胁特定的风险指标，第二阶段对这些指标进行联合分类，以捕捉跨时间窗口的攻击模式。

关键创新：最重要的创新在于通过结构化风险指标的生成，提升了零-shot威胁检测的性能，这与现有方法直接从原始日志进行分类的方式有本质区别。

关键设计：在实验中，采用了四种不同的LLM组合，并在检索和非检索设置下进行评估。关键参数设置和损失函数的选择也经过精心设计，以确保模型的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提框架在CERT r5.2数据集上提高了11.40个百分点，在PicoDomain数据集上提高了31.50个百分点，所有配置均超越了现有的GABM框架，尤其是在较弱模型上，检索增强技术显著提升了风险指标的区分能力。

🎯 应用场景

该研究的潜在应用领域包括网络安全、企业安全监控和信息安全管理。通过提高威胁检测的准确性和可解释性，能够帮助组织更有效地识别和响应内部威胁和APT攻击，从而增强整体安全防护能力。

📄 摘要（原文）

We propose a two-stage large language model (LLM) framework for zero-shot detection of insider threats and advanced persistent threats (APTs) from heterogeneous security logs. The framework models user activity as chronological timelines and incorporates retrieval-augmented generation (RAG) to provide personalised behavioural context from each user's historical activity. Rather than performing end-to-end classification directly from raw logs, it first generates structured, interpretable sets of threat-specific risk indicators, which are then classified jointly across temporal sequences to capture attack patterns spanning multiple windows.The framework is evaluated on two benchmark datasets, CERT r5.2 for insider threat detection and PicoDomain for APT detection, using four combinations of two open-weight LLMs under both retrieval and non-retrieval settings. All configurations outperform the previous state-of-the-art LLM-based framework (GABM), with the best configuration improving the F1-score by 11.40 percentage points on CERT r5.2 and 31.50 percentage points on PicoDomain. Results further show that retrieval mainly benefits weaker LLMs by generating more discriminative risk indicators, whereas stronger models achieve comparable performance without retrieved context. The most effective assignment of LLMs to the two stages depends on the dataset. These findings show that the quality of the generated risk indicators is the main driver of zero-shot cyber threat detection performance.