Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection

📄 arXiv: 2401.15123v1 📥 PDF

作者: Chen Liu, Shibo He, Qihang Zhou, Shizhong Li, Wenchao Meng

分类: cs.LG, cs.AI

发布日期: 2024-01-26

备注: 12 pages, 5 figures

💡 一句话要点

提出AnomalyLLM以解决时间序列异常检测中的样本稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列异常检测 知识蒸馏 自监督学习 大型语言模型 合成异常 特征提取 模型鲁棒性

📋 核心要点

  1. 现有自监督方法在时间序列异常检测中依赖大量标注数据，导致在样本稀缺情况下性能受限。
  2. 本文提出AnomalyLLM，通过知识蒸馏使学生网络模仿预训练的教师网络特征，增强异常检测能力。
  3. AnomalyLLM在15个数据集上取得了最先进的性能，UCR数据集准确率提升至少14.5%。

📝 摘要（中文）

自监督方法在时间序列异常检测中因标注稀缺而受到关注。然而，这些方法通常需要大量训练数据以获得可泛化的特征表示，这与样本稀缺的场景相悖，从而限制了其性能。为克服这一限制，本文提出了AnomalyLLM，一种基于知识蒸馏的时间序列异常检测方法，其中学生网络被训练以模仿在大规模数据集上预训练的基于大型语言模型（LLM）的教师网络的特征。在测试阶段，当教师和学生网络的特征之间的差异较大时，便可检测到异常。为避免学生网络学习教师网络的异常样本特征，本文设计了两项关键策略：1）将原型信号引入学生网络以巩固正常特征提取；2）使用合成异常扩大两个网络之间的表示差距。AnomalyLLM在15个数据集上表现出最先进的性能，在UCR数据集上提高了至少14.5%的准确率。

🔬 方法详解

问题定义：本文旨在解决时间序列异常检测中自监督方法对大量标注数据的依赖问题。现有方法在样本稀缺的情况下难以获得有效的特征表示，限制了其检测性能。

核心思路：AnomalyLLM通过知识蒸馏的方式，使学生网络学习教师网络的特征表示，进而提高异常检测的准确性。通过引入原型信号和合成异常，增强了正常样本特征的提取和异常样本的区分能力。

技术框架：整体架构包括教师网络和学生网络两个主要模块。教师网络基于大型语言模型进行预训练，学生网络则通过模仿教师网络的特征进行训练。在测试阶段，通过比较两者特征的差异来检测异常。

关键创新：最重要的创新在于引入了原型信号和合成异常这两项策略，前者帮助学生网络巩固正常特征提取，后者则扩大了教师与学生网络之间的表示差距，从而有效避免了学生网络学习到异常样本的特征。

关键设计：在网络结构上，学生网络设计了特定的损失函数以强化正常样本的学习，同时采用合成异常生成技术来提高模型的鲁棒性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnomalyLLM在15个数据集上表现出色，特别是在UCR数据集上，准确率提升至少14.5%。该方法的创新设计使其在样本稀缺的情况下仍能有效进行异常检测，展示了其强大的实用性和适应性。

🎯 应用场景

该研究在金融监控、工业设备故障检测和智能交通等领域具有广泛的应用潜力。通过提高时间序列异常检测的准确性，AnomalyLLM能够帮助相关行业及时发现潜在问题，降低损失并提升系统的安全性与可靠性。未来，该方法还可能扩展到其他类型的时序数据分析中。

📄 摘要（原文）

Self-supervised methods have gained prominence in time series anomaly detection due to the scarcity of available annotations. Nevertheless, they typically demand extensive training data to acquire a generalizable representation map, which conflicts with scenarios of a few available samples, thereby limiting their performance. To overcome the limitation, we propose \textbf{AnomalyLLM}, a knowledge distillation-based time series anomaly detection approach where the student network is trained to mimic the features of the large language model (LLM)-based teacher network that is pretrained on large-scale datasets. During the testing phase, anomalies are detected when the discrepancy between the features of the teacher and student networks is large. To circumvent the student network from learning the teacher network's feature of anomalous samples, we devise two key strategies. 1) Prototypical signals are incorporated into the student network to consolidate the normal feature extraction. 2) We use synthetic anomalies to enlarge the representation gap between the two networks. AnomalyLLM demonstrates state-of-the-art performance on 15 datasets, improving accuracy by at least 14.5\% in the UCR dataset.