Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens

📄 arXiv: 2507.02964 📥 PDF

作者: Salahuddin Salahuddin, Ahmed Hussain, Jussi Löppönen, Toni Jutila

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出资源高效的领域自适应预训练方法以提升网络安全LLM专业化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大型语言模型 领域自适应 高性能计算 预训练 资源高效 模型适应 数据并行

📋 核心要点

  1. 现有的通用大型语言模型在网络安全领域缺乏专业知识，导致其分析能力不足。
  2. 论文提出了一种领域自适应连续预训练方法，通过高效的计算基础设施提升网络安全理解。
  3. 实验结果表明，Llama-3.3-70B-Ins-DAP模型在多个基准测试中表现优异，准确率显著提高。

📝 摘要（中文）

随着人工智能工作负载规模的增加，对高性能计算基础设施和可持续的训练方法的需求也在上升。尽管大型语言模型（LLMs）在自然语言处理方面表现出色，但通用模型往往缺乏有效进行网络安全分析所需的专业领域知识。本文探讨了领域自适应连续预训练（DAP）作为一种可扩展、资源高效的方法，以增强预训练LLMs在网络安全领域的理解。通过在多节点GPU集群上实施分布式完全分片数据并行（FSDP）管道，系统地适应了三种解码器架构，并使用126百万字的网络安全语料库进行训练。实验结果显示，经过适应后的模型在多个网络安全基准测试中表现出一致的提升，尤其是Llama-3.3-70B-Ins-DAP模型在准确率上达到了0.718、0.933和0.864，超越了参数高效的基线和专门模型，尽管仅使用了118.8百万个tokens，显示出显著的训练数据减少。

🔬 方法详解

问题定义：本文旨在解决通用大型语言模型在网络安全领域缺乏专业知识的问题，现有方法在处理特定领域任务时效果不佳。

核心思路：通过领域自适应连续预训练（DAP），在高性能计算环境中对预训练模型进行针对性调整，以提升其在网络安全分析中的表现。

技术框架：整体架构包括数据收集、模型选择、领域适应训练和评估四个主要模块。使用分布式完全分片数据并行（FSDP）技术在多节点GPU集群上进行训练。

关键创新：本研究的创新在于通过资源高效的训练方法实现了在网络安全领域的有效适应，显著减少了所需的训练数据量，与传统方法相比，训练数据减少了23到42倍。

关键设计：在模型训练中，使用了126百万字的网络安全语料库，调整了模型的超参数设置，确保在保持性能的同时降低计算和能耗需求。具体的损失函数和网络结构设计也经过优化，以适应网络安全任务的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Llama-3.3-70B-Ins-DAP模型在CTI-MCQ、CyberMetric和SecEval基准测试中的准确率分别达到了0.718、0.933和0.864，超越了训练在2.77亿和5亿tokens的专门模型，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括网络安全威胁分析、漏洞评估和安全文档编写。通过提升大型语言模型在网络安全领域的专业化能力，可以为安全专家提供更为精准的辅助工具，进而提高整体网络安全防护水平，推动可持续和负责任的人工智能发展。

📄 摘要（原文）

The increasing scale of AI workloads demands High-Performance Computing (HPC) infrastructure and training methodologies that are both scalable and sustainable. While Large Language Models (LLMs) demonstrate exceptional natural language capabilities, general-purpose models often lack the specialized domain knowledge necessary for effective cybersecurity analysis. We investigate Domain-Adaptive Continuous Pretraining (DAP) as a scalable, resource-efficient methodology for enhancing cybersecurity understanding in pretrained LLMs, implemented through a distributed Fully Sharded Data Parallel (FSDP) pipeline across multi-node GPU clusters. We systematically adapted three decoder-based architectures -- Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B, and Llama-3.3-70B-Instruct -- using a curated 126-million-word cybersecurity corpus from standards, academic literature, and technical documentation. Evaluation across three cybersecurity benchmarks -- CTI-MCQ, CyberMetric, and SecEval -- demonstrates consistent improvements post-adaptation. Notably, our Llama-3.3-70B-Ins-DAP model achieves state-of-the-art performance with accuracies of 0.718, 0.933, and 0.864, respectively, surpassing parameter-efficient baselines and specialized models including Llama-Primus-Base (trained on 2.77 billion tokens) and Foundation-Sec-8B (trained on 5 billion tokens), despite utilizing only 118.8 million tokens -- representing a 23-to-42-fold reduction in training data. Targeted continuous pretraining via scalable HPC infrastructure enables effective cybersecurity domain adaptation with a substantially reduced computational and energy footprint, supporting specialized AI assistants in threat analysis, vulnerability assessment, and security documentation, while advancing sustainable and responsible AI development.