Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring

📄 arXiv: 2606.18726v1 📥 PDF

作者: Fang Wang, Ernesto Damiani

分类: cs.LG, cs.AI

发布日期: 2026-06-17

备注: 40 pages

💡 一句话要点

提出图基础交叉注意力变换器网络以解决结构约束事件序列生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件序列生成 预测过程监控 图基础学习 交叉注意力机制 变换器网络

📋 核心要点

  1. 现有方法在结构约束事件序列生成中面临挑战，无法有效保持过渡可行性和属性一致性。
  2. 本文提出GGATN，通过全局过程图和交叉注意力机制来生成完整的事件序列，克服了传统方法的局限。
  3. 实验结果显示，GGATN在序列相似性、控制流相似性等指标上表现优异，且无虚假活动生成和属性不一致现象。

📝 摘要（中文）

结构约束的事件序列生成仍然是一个挑战，因为生成的路径必须保持过渡可行性、时间顺序、终止和属性一致性。在预测过程监控中，这一挑战表现为完整事件序列生成，而现有工作主要关注下一活动、剩余时间、结果和属性预测等组件任务。本文提出了图基础交叉注意力变换器神经网络（GGATN），用于统一的预测过程监控任务。GGATN使用全局过程图作为结构活动记忆，通过变换器自注意力对序列位置进行上下文化，并通过图基础交叉注意力注入过程拓扑。与自回归解码不同，GGATN在单次传递中生成活动、时间戳、长度以及事件级和序列级属性，随后进行维特比风格的图约束解码以确保路径的可行性和明确的终止。实验表明，GGATN在生成质量上优于本地指令提示的LLM基线。

🔬 方法详解

问题定义：本文旨在解决结构约束的事件序列生成问题，现有方法主要集中于组件任务，未能有效处理完整序列的生成，导致生成路径的可行性和一致性不足。

核心思路：GGATN的核心思路是利用全局过程图作为结构记忆，并结合交叉注意力机制来生成事件序列，确保生成过程中的结构约束和上下文信息的有效结合。

技术框架：GGATN的整体架构包括全局图编码器、变换器自注意力模块和图基础交叉注意力模块，生成活动、时间戳和属性后，通过维特比解码确保路径的可行性和终止条件。

关键创新：GGATN的主要创新在于其图基础交叉注意力机制，能够在生成过程中有效注入过程拓扑信息，与传统的自回归解码方法相比，显著提高了生成的质量和一致性。

关键设计：GGATN采用了特定的损失函数以优化生成质量，并设计了多层的变换器结构以增强模型的表达能力，确保在生成过程中保持零虚假活动和零属性不一致。

📊 实验亮点

实验结果显示，GGATN在序列相似性、Damerau Levenshtein相似性和持续时间分布等方面表现优异，相比于本地指令提示的LLM基线，生成质量更可靠，且实现了零虚假活动和零序列级属性不一致，展示了显著的性能提升。

🎯 应用场景

该研究在预测过程监控领域具有广泛的应用潜力，能够用于工业流程优化、智能制造和业务流程管理等场景。通过提高事件序列生成的准确性和一致性，GGATN能够帮助企业更好地预测和管理其业务流程，从而提升效率和决策能力。

📄 摘要（原文）

Structurally constrained event sequence generation remains challenging because generated paths must preserve transition feasibility, temporal order, termination, and attribute consistency. In predictive process monitoring (PPM), this challenge appears as full event sequence generation, whereas existing work mainly addresses component tasks such as next activity, remaining time, outcome, and attribute prediction. This paper proposes the Graph Grounded Cross Attention Transformer Neural Network (GGATN) for this unified PPM task. GGATN uses a global process graph as structured activity memory, contextualizes sequence positions through Transformer self attention, and injects process topology through graph grounded cross attention. Unlike autoregressive decoding, GGATN generates activities, timestamps, length, and event level and sequence level attributes in a single pass, followed by Viterbi style graph constrained decoding for feasible paths and explicit termination. Experiments on six benchmark event logs show more reliable generation quality than local instruction prompted LLM baselines. GGATN achieves strong performance on sequence similarity, Damerau Levenshtein similarity, bigram based control flow similarity, and duration distribution, while maintaining zero hallucinated activities and zero sequence level attribute inconsistency. Ablation analyses confirm the global graph encoder as a stable structural prior. Interpretability analyses show how graph structure, sequence context, feedback refinement, and constrained decoding shape generation.