OIL-AD: An Anomaly Detection Framework for Sequential Decision Sequences

📄 arXiv: 2402.04567v1 📥 PDF

作者: Chen Wang, Sarah Erfani, Tansu Alpcan, Christopher Leckie

分类: cs.LG, cs.AI

发布日期: 2024-02-07

💡 一句话要点

提出OIL-AD框架以解决决策序列中的异常检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异常检测 决策序列 离线模仿学习 强化学习 行为特征提取 Q函数 状态值函数 变换器网络

📋 核心要点

  1. 现有的异常检测方法在决策序列中面临复杂的正常性表示学习和顺序特性的问题，难以在实际中应用。
  2. 本文提出的OIL-AD方法通过离线模仿学习，利用动作最优性和顺序关联两个特征来实现异常检测。
  3. 实验结果显示，OIL-AD在在线异常检测中表现优异，F1分数较对比基线提升了34.8%。

📝 摘要（中文）

决策序列中的异常检测是一个具有挑战性的问题，主要由于正常性表示学习的复杂性和任务的顺序特性。现有基于强化学习的方法在实际应用中面临诸多限制，如对环境动态、奖励信号和在线交互的非现实假设。为了解决这些问题，本文提出了一种名为离线模仿学习的异常检测方法（OIL-AD），通过提取的行为特征（动作最优性和顺序关联）来检测决策序列中的异常。我们的离线学习模型是对行为克隆的改编，结合了变换器策略网络，修改了训练过程以从正常轨迹中学习Q函数和状态值函数。实验结果表明，OIL-AD在在线异常检测性能上表现出色，相较于基线方法F1分数提升了34.8%。

🔬 方法详解

问题定义：本文旨在解决决策序列中的异常检测问题。现有方法多依赖于强化学习，面临对环境动态和奖励信号的非现实假设，导致实际应用困难。

核心思路：OIL-AD通过离线模仿学习，提取动作最优性和顺序关联两个特征，来有效检测决策序列中的异常。这种设计使得模型能够在没有实时环境交互的情况下进行学习。

技术框架：OIL-AD的整体架构包括两个主要模块：行为特征提取和异常检测。首先，通过变换器策略网络进行行为克隆，学习Q函数和状态值函数；然后，利用提取的特征进行异常检测。

关键创新：OIL-AD的核心创新在于结合了Q函数和状态值函数来提取行为特征，区别于传统方法仅依赖于单一特征或模型，提供了更全面的异常检测能力。

关键设计：在模型设计中，采用了变换器网络结构以增强特征提取能力，同时在训练过程中调整损失函数，以确保Q函数和状态值函数的有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OIL-AD在在线异常检测任务中表现出色，相较于其他基线方法，F1分数提升了34.8%。这一显著的性能提升表明，该方法在处理复杂决策序列中的异常检测问题上具有较强的有效性和实用性。

🎯 应用场景

OIL-AD框架在多个领域具有广泛的应用潜力，尤其是在金融欺诈检测、网络安全和工业监控等场景中。通过准确识别异常决策序列，该方法能够帮助相关领域的从业者及时发现潜在风险，提升决策质量和安全性。未来，OIL-AD的技术可以进一步扩展到更复杂的决策环境中，推动智能决策系统的发展。

📄 摘要（原文）

Anomaly detection in decision-making sequences is a challenging problem due to the complexity of normality representation learning and the sequential nature of the task. Most existing methods based on Reinforcement Learning (RL) are difficult to implement in the real world due to unrealistic assumptions, such as having access to environment dynamics, reward signals, and online interactions with the environment. To address these limitations, we propose an unsupervised method named Offline Imitation Learning based Anomaly Detection (OIL-AD), which detects anomalies in decision-making sequences using two extracted behaviour features: action optimality and sequential association. Our offline learning model is an adaptation of behavioural cloning with a transformer policy network, where we modify the training process to learn a Q function and a state value function from normal trajectories. We propose that the Q function and the state value function can provide sufficient information about agents' behavioural data, from which we derive two features for anomaly detection. The intuition behind our method is that the action optimality feature derived from the Q function can differentiate the optimal action from others at each local state, and the sequential association feature derived from the state value function has the potential to maintain the temporal correlations between decisions (state-action pairs). Our experiments show that OIL-AD can achieve outstanding online anomaly detection performance with up to 34.8% improvement in F1 score over comparable baselines.