Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

📄 arXiv: 2606.18166v1 📥 PDF

作者: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

分类: cs.CR, cs.LG

发布日期: 2026-06-16

💡 一句话要点

构建数据集评估开源LLM在CTI报告中的ATT&CK分类能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络威胁情报 ATT&CK分类 开源LLM 数据集构建 多标签分类 性能评估 上下文推理

📋 核心要点

  1. 现有方法在处理复杂的网络威胁情报报告时，无法有效分类多标签的ATT&CK技术，导致性能评估不准确。
  2. 本文通过构建2076个句子的基准数据集，采用六阶段标注过程，评估了七个开源LLM在复杂CTI报告中的表现。
  3. 实验结果显示，最高性能的LLM微平均F1分数为0.22，表明当前开源LLM在生产级ATT&CK分类中仍显不足。

📝 摘要（中文）

对网络威胁情报（CTI）进行分类，使用MITRE的对抗战术、技术和常识（ATT&CK）是主动防御的关键，但历史上需要大量人力。虽然在大型语言模型（LLM）出现之前的自动化进程加快了这一过程，但仍无法解决复杂语言和多步骤攻击模式的问题。本文构建了一个包含2076个经过人工标注的句子的基准数据集，并评估了七个开源LLM的性能，结果显示当前的LLM在复杂的CTI报告中表现不足，提供了未来研究的基础。

🔬 方法详解

问题定义：本文旨在解决当前开源LLM在复杂的网络威胁情报（CTI）报告中进行多标签ATT&CK技术分类的不足，现有方法在处理真实世界的CTI报告时表现不佳，导致性能评估失真。

核心思路：通过构建一个包含2076个句子的人工标注数据集，论文提供了一个真实的基准，以评估LLM在复杂文本理解中的能力，强调了上下文推理的重要性。

技术框架：研究采用六阶段标注过程，将83份复杂的CTI报告中的句子映射到114种ATT&CK技术，确保数据集的准确性和可靠性。

关键创新：最重要的创新在于构建了一个真实的、复杂的CTI报告数据集，并对开源LLM的性能进行了系统评估，填补了现有研究的空白。

关键设计：在实验中，评估了七个不同参数规模的LLM，结果显示参数规模与F1分数之间存在显著正相关，而提示策略和温度设置未能显著提升性能。实验结果为未来的CTI研究提供了可重复的基础。

📊 实验亮点

实验结果显示，最高性能的开源LLM在复杂CTI报告中的微平均F1分数为0.22，建立了多标签ATT&CK分类的经验基线。参数规模与F1分数呈显著正相关，而提示策略和温度设置未能带来显著提升，表明当前LLM在生产级应用中仍显不足。

🎯 应用场景

该研究的潜在应用领域包括网络安全、威胁检测和响应系统等。通过提高对复杂CTI报告的分类能力，可以增强组织的主动防御能力，及时识别和应对潜在威胁，具有重要的实际价值和未来影响。

📄 摘要（原文）

Classifying Cyber Threat Intelligence (CTI) using MITRE Adversarial Tactics, Techniques, and Common Knowledge (ATT&CK) is essential for proactive defense, but historically required extensive human effort. Pre-Large Language Model (LLM) automation sped up this process, but could not resolve the complex language and multi-step attack patterns found in unstructured CTI reports. LLMs addressed previous limitations by using contextual reasoning to understand unstructured text. However, current evaluations rely on simplified, single-technique sentences that ignore the complexity of real-world CTI reports, which often leads to inflated performance results. Consequently, the baseline performance of open-source LLMs on complex unstructured CTI reports remains unevaluated. To address this gap, we constructed a ground-truth dataset of 2,076 human-annotated sentences (1,281 technique-positive, 795 negative) from 83 complex unstructured CTI reports. These sentences were mapped to 114 unique ATT&CK techniques using a six-phase annotation process, achieving \k{appa} = 0.68 inter-annotator agreement. Using this dataset, we evaluated seven open-source LLMs ranging from 8B to 236B parameters across prompt strategy and temperature configurations. The highest-performing LLM achieved a micro-averaged F1 score of 0.22, establishing the empirical baseline for multi-label ATT&CK classification on complex unstructured CTI. Parameter size showed a statistically significant positive correlation with F1 score. Prompt strategy and temperature produced no statistically significant gains across model configurations. These results indicate that current open-source LLMs are insufficient for production-grade ATT&CK classification. The dataset, benchmark, and findings provide a reproducible foundation for future CTI research.