D-TAIA: Domain-Aware LLM Adaptation for Multi-Task Predictive Process Monitoring

📄 arXiv: 2608.28236v1 📥 PDF

作者: Sjoerd van Straten, Christine Jacob, Marwan Hassani

分类: cs.LG

发布日期: 2026-08-28

💡 一句话要点

提出D-TAIA以解决多任务预测过程监控中的适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预测过程监控 领域感知 多任务学习 大语言模型 参数高效微调 顺序推理 FAISS检索 三元组损失

📋 核心要点

  1. 现有的预测过程监控方法在数据稀缺和分布转移等条件下性能下降，难以适应多任务需求。
  2. D-TAIA框架通过领域感知三元组损失和FAISS最近邻检索，优化了下一步活动与剩余时间的联合预测。
  3. 在四个真实事件日志上的评估中，D-TAIA展现出与微调的LLM和递归神经网络基线相当或更优的性能。

📝 摘要（中文）

预测过程监控（PPM）使组织能够预测未来的过程行为，如下一步活动和剩余时间。然而，现有方法在数据稀缺、高过程熵和分布转移等条件下表现不佳。本文提出D-TAIA（领域感知训练与基于注意力的推理架构），通过对基础模型的参数高效微调，联合进行下一步活动和剩余时间的预测。该方法结合领域感知三元组损失（DATL）预训练与基于FAISS的最近邻检索，采用TAIA推理策略以保持预训练的顺序推理能力。实验结果表明，D-TAIA在四个真实事件日志上表现出色，具有竞争力的性能。

🔬 方法详解

问题定义：本文旨在解决在数据稀缺、高过程熵和分布转移条件下，现有预测过程监控方法的适应性不足的问题。现有方法往往缺乏处理分布转移的机制，或直接回归头与连续时间预测任务结构不匹配。

核心思路：D-TAIA框架通过参数高效的微调基础模型，结合领域感知三元组损失和FAISS最近邻检索，旨在提升多任务预测的准确性和鲁棒性。采用TAIA推理策略以保持预训练的顺序推理能力，确保模型在微调过程中的性能不下降。

技术框架：D-TAIA的整体架构包括三个主要模块：领域感知三元组损失（DATL）预训练模块、FAISS最近邻检索模块和TAIA推理策略模块。首先进行DATL预训练，然后通过FAISS进行剩余时间预测，最后应用TAIA推理策略进行联合预测。

关键创新：D-TAIA的主要创新在于结合领域感知损失与高效的检索机制，能够有效应对分布转移问题，并保持模型的顺序推理能力。这一设计与现有方法的直接回归头结构形成鲜明对比。

关键设计：在参数设置上，D-TAIA使用了仅10M参数的基础模型。损失函数采用领域感知三元组损失，确保模型在不同领域数据上的适应性。网络结构上，结合了NLP和计算机视觉中的有效技术，确保在多任务学习中的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在四个真实事件日志上的实验中，D-TAIA展现出与微调的LLM和递归神经网络基线相当或更优的性能，证明了其在多任务预测过程监控中的有效性。具体而言，D-TAIA在多个数据集上均表现出SOTA水平，显示出其在处理高过程熵和分布转移方面的优势。

🎯 应用场景

D-TAIA的研究成果可广泛应用于企业的流程管理和优化，特别是在需要实时预测和决策支持的场景中，如制造业、服务业和供应链管理。通过提高预测准确性，企业能够更好地规划资源和提高效率，具有显著的实际价值和潜在影响。

📄 摘要（原文）

Predictive Process Monitoring (PPM) enables organizations to forecast future process behavior, such as the next activity and remaining time of ongoing cases. In practice, three conditions cause existing methods to degrade, namely data scarcity, high process entropy and distributional shift. While Foundation Models (FMs), especially Large Language Models (LLMs), offer a new paradigm through broad sequential reasoning, adapting them to multi-task PPM under these conditions remains an open challenge. Existing FM-based approaches either lack mechanisms for handling distributional shift or rely on direct regression heads that can be structurally misaligned with continuous time prediction tasks. This paper introduces D-TAIA (Domain-aware Training and Attention-based Inference Architecture), a framework for a joint next activity and remaining time prediction task via parameter-efficient fine-tuning of an FM backbone. Our approach combines domain-aware triplet loss (DATL) pre-training with FAISS-based nearest neighbor retrieval for remaining time prediction, and adopts the TAIA inference strategy to preserve pre-trained sequential reasoning during fine-tuning. Evaluated across four real-world event logs, D-TAIA consistently shows SOTA or competitive performance compared to a fine-tuned LLM and a recurrent neural network baseline. Ablation studies confirm that techniques from NLP and computer vision can be transferred effectively to PPM with only a 10M-parameter backbone, though component contributions vary by dataset entropy.