Efficient Online Continual Foundation Model Fine-Tuning for Predictive Process Monitoring
作者: Sjoerd van Straten, Marwan Hassani
分类: cs.LG
发布日期: 2026-08-28
💡 一句话要点
提出COMPASS框架以解决动态环境下的预测过程监控问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 预测过程监控 在线持续学习 基础模型 概念漂移 自适应子空间 损失漂移检测 模型微调
📋 核心要点
- 现有的在线持续学习方法在动态环境中面临冷启动问题，无法有效应对概念漂移。
- 本文提出COMPASS框架，通过自适应子空间和漂移检测，支持基础模型的持续微调，提升PPM性能。
- 实验结果表明，COMPASS在处理复杂和重复漂移的事件流时，性能显著优于现有的三种非基础模型方法。
📝 摘要（中文）
预测过程监控（PPM）模型在动态环境中越来越多地被应用，但概念漂移导致基础过程分布随时间变化。现有方法往往从头开始训练紧凑的任务特定网络，造成持续的冷启动问题。本文提出COMPASS（基于基础模型的持续在线PPM框架），首次实现了基础模型在PPM领域的持续微调。COMPASS通过自适应子空间和损失平台漂移检测，自动识别事件流中的任务边界，维护统一的知识子空间。我们在九个事件流上评估了该方法，结果显示其在处理复杂的、长期的漂移场景时，性能显著优于三种最先进的非基础模型竞争者和两种更新策略基线。
🔬 方法详解
问题定义：本文旨在解决动态环境下预测过程监控（PPM）模型在概念漂移情况下的持续学习问题。现有方法通常从头开始训练，导致冷启动问题，无法快速适应新的任务和数据分布。
核心思路：提出COMPASS框架，利用基础模型的预训练能力，通过自适应子空间和损失平台漂移检测，自动识别任务边界，从而实现在线持续微调。该设计旨在减少冷启动时间，提高模型在动态环境中的适应性。
技术框架：COMPASS框架包含几个主要模块：首先是事件流的输入处理模块，接着是漂移检测模块，该模块通过监测损失变化来识别任务边界；然后是知识子空间管理模块，维护预训练和任务特定的知识方向；最后是模型微调模块，进行在线学习和更新。
关键创新：COMPASS的主要创新在于结合了基础模型的强大能力与在线学习的灵活性，首次实现了在PPM领域的持续微调，克服了传统方法的冷启动问题。
关键设计：在设计中，COMPASS采用了自适应损失函数来监测漂移，并通过统一的知识子空间来整合不同任务的信息。此外，模型的超参数设置经过一致性调优，以确保在各种任务和数据流中的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，COMPASS在九个事件流上表现优异，特别是在处理复杂和重复漂移的场景中，性能提升幅度超过现有三种非基础模型竞争者和两种更新策略基线，展现出显著的优势。
🎯 应用场景
该研究的潜在应用领域包括工业流程监控、智能制造和服务管理等动态环境。COMPASS框架能够实时适应变化的过程数据，提升预测准确性和决策支持能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Predictive Process Monitoring (PPM) models are increasingly deployed in dynamic environments where concept drift causes the underlying process distribution to shift over time. While recent work has moved toward online continual learning, existing methods train compact, task-specific networks entirely from scratch, leaving a persistent cold-start problem. Foundation Models (FMs) offer a compelling solution to this problem, but their continual fine-tuning in the process mining domain remains unexplored. We propose COMPASS (Continual Online foundation Model-based PPM with Adaptive SubSpaces), the first framework for online continual fine-tuning of FMs for PPM. COMPASS adapts loss-plateau drift detection to autonomously identify task boundaries in event streams and maintains a unified knowledge subspace including both pre-trained and task-specific directions. We evaluate our approach on nine event streams covering synthetic and real-world concept drift scenarios, across task-free and task-aware settings with multiple backbones and with consistent hyperparameter tuning across all methods. Our approach outperforms three SOTA non-FM competitors and two update strategy baselines, with particularly strong gains on streams exhibiting recurrent drift and complex, long-running cases, while incurring acceptable computational overhead compared to the non-FM competitors.