An Ethically Grounded LLM-Based Approach to Insider Threat Synthesis and Detection

📄 arXiv: 2509.06920v2 📥 PDF

作者: Haywood Gelman, John D. Hastings, David Kenley

分类: cs.CR, cs.AI, cs.CL, cs.CY

发布日期: 2025-09-08 (更新: 2025-10-01)

备注: 6 pages, 5 figures, 5 tables

💡 一句话要点

提出一种基于伦理的大语言模型方法，用于内部威胁合成与检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 内部威胁检测 大型语言模型 数据合成 伦理AI 系统日志分析

📋 核心要点

  1. 现有内部威胁研究依赖静态、受限数据集，阻碍了自适应检测模型的开发。
  2. 利用 Claude Sonnet 3.7 合成包含内部威胁指标的系统日志，模拟真实数据分布。
  3. 实验表明 Sonnet 3.7 在内部威胁检测方面优于 GPT-4o，尤其在降低误报率上。

📝 摘要（中文）

内部威胁因其技术和行为元素的复杂性，日益成为组织面临的难题。大量研究致力于从技术、心理和教育角度研究内部威胁。然而，该领域的研究通常依赖于静态且访问受限的数据集，这限制了自适应检测模型的开发。本研究提出了一种新颖的、基于伦理的方法，该方法使用大型语言模型 Claude Sonnet 3.7 动态合成系统日志消息，其中一些消息包含内部威胁场景的指标。这些消息通过高度不平衡（1% 的内部威胁）来反映真实世界的数据分布。系统日志由 Sonnet 3.7 和 GPT-4o 分析以检测内部威胁，并通过包括准确率、精确率、召回率、F1、特异性、误报率、MCC 和 ROC AUC 在内的统计指标评估其性能。Sonnet 3.7 在几乎所有指标上都始终优于 GPT-4o，尤其是在减少误报和提高检测准确率方面。结果表明，LLM 在合成数据集生成和内部威胁检测方面具有广阔的应用前景。

🔬 方法详解

问题定义：该论文旨在解决内部威胁检测中数据稀缺和数据集静态的问题。现有方法依赖于有限且难以获取的真实世界内部威胁数据集，这限制了模型的泛化能力和自适应性，同时也难以进行充分的伦理审查。

核心思路：核心思路是利用大型语言模型（LLM）生成合成的系统日志数据，这些数据既能反映真实世界的数据分布（例如，高度不平衡），又能包含各种内部威胁场景的指标。通过这种方式，可以克服数据稀缺的限制，并为开发和评估内部威胁检测模型提供更灵活和可控的数据基础。同时，在数据生成过程中融入伦理考量，避免生成包含敏感信息的或带有偏见的数据。

技术框架：该研究的技术框架主要包含两个阶段：1) 使用 LLM (Claude Sonnet 3.7) 合成系统日志数据，其中包含正常行为和内部威胁行为的混合。合成数据需要模拟真实世界的数据分布，例如，内部威胁事件的比例远低于正常事件。2) 使用 LLM (Sonnet 3.7 和 GPT-4o) 分析合成的系统日志数据，以检测内部威胁。然后，通过一系列统计指标（如准确率、精确率、召回率、F1 值等）评估 LLM 在内部威胁检测方面的性能。

关键创新：该研究的关键创新在于将 LLM 应用于内部威胁数据的合成，从而克服了传统方法中数据稀缺的瓶颈。此外，该研究强调了在数据合成过程中融入伦理考量的重要性，以确保生成的数据不包含敏感信息或带有偏见。通过使用合成数据，研究人员可以更灵活地探索不同的内部威胁场景，并开发更具鲁棒性和泛化能力的检测模型。

关键设计：在数据合成阶段，研究人员需要设计合适的提示（prompts）来引导 LLM 生成包含特定内部威胁指标的系统日志消息。这些提示需要足够详细，以确保生成的日志消息具有一定的真实性和多样性。在模型评估阶段，研究人员使用了多种统计指标来全面评估 LLM 在内部威胁检测方面的性能，包括准确率、精确率、召回率、F1 值、特异性、误报率、MCC 和 ROC AUC。这些指标可以帮助研究人员了解 LLM 在不同方面的表现，并进行更深入的分析。

📊 实验亮点

实验结果表明，Claude Sonnet 3.7 在内部威胁检测方面优于 GPT-4o，尤其在降低误报率和提高检测准确率方面表现突出。Sonnet 3.7 在各项指标上均取得了更优异的成绩，证明了其在合成数据生成和内部威胁检测方面的潜力。该研究为利用 LLM 解决内部威胁检测问题提供了有力的证据。

🎯 应用场景

该研究成果可应用于企业安全管理、政府机构信息安全等领域，通过合成数据训练和评估内部威胁检测模型，提升组织机构应对内部威胁的能力。该方法降低了对真实敏感数据的依赖，促进了更安全、更合规的内部威胁研究和模型开发。未来可用于构建更智能、自适应的内部威胁防御系统。

📄 摘要（原文）

Insider threats are a growing organizational problem due to the complexity of identifying their technical and behavioral elements. A large research body is dedicated to the study of insider threats from technological, psychological, and educational perspectives. However, research in this domain has been generally dependent on datasets that are static and limited access which restricts the development of adaptive detection models. This study introduces a novel, ethically grounded approach that uses the large language model (LLM) Claude Sonnet 3.7 to dynamically synthesize syslog messages, some of which contain indicators of insider threat scenarios. The messages reflect real-world data distributions by being highly imbalanced (1% insider threats). The syslogs were analyzed for insider threats by both Sonnet 3.7 and GPT-4o, with their performance evaluated through statistical metrics including accuracy, precision, recall, F1, specificity, FAR, MCC, and ROC AUC. Sonnet 3.7 consistently outperformed GPT-4o across nearly all metrics, particularly in reducing false alarms and improving detection accuracy. The results show strong promise for the use of LLMs in synthetic dataset generation and insider threat detection.