Abstracting Cross-Domain Action Sequences into Interpretable Workflows
作者: Gaurav Verma, Scott Counts
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-12
备注: preprint; 9 pages, 5 figures
💡 一句话要点
提出WorkflowView框架以解决跨域行为序列抽象问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 行为序列抽象 大型语言模型 用户行为分析 教育数据挖掘 隐私保护分析
📋 核心要点
- 现有方法在处理用户行为序列时对噪声高度敏感，难以跨应用程序进行有效泛化。
- 本文提出WorkflowView框架，利用大型语言模型将低级行为序列抽象为高层次活动，从而提高理解和分析的准确性。
- 在三个不同的任务中，WorkflowView展示了其强大的性能，零-shot任务描述重建的语义相似度达到0.91，少-shot辍学预测的加权F1值达到0.90。
📝 摘要（中文）
序列或时间戳交互日志提供了数字应用使用的客观记录，但其粒度和噪声常常掩盖了对用户工作的重要洞察。为了解决这一问题，本文提出了WorkflowView框架，利用大型语言模型将低级行为序列抽象为高级活动。我们在三个不同的序列任务和多样化领域中验证了该方法的有效性和通用性，包括浏览器日志的零-shot任务描述重建、MOOC交互日志的少-shot学生辍学预测，以及对Microsoft Word文档工作流中AI工具集成的匿名隐私保护分析。我们的研究表明，基于LLM的抽象是将低级行为数据转化为高级、可解释和可操作洞察的有效途径。
🔬 方法详解
问题定义：本文旨在解决从低级行为序列中提取高层次活动的挑战，现有方法在噪声和泛化能力上存在显著不足。
核心思路：通过引入大型语言模型，WorkflowView框架能够有效地将低级行为序列转化为高层次的可解释活动，从而克服传统方法的局限性。
技术框架：该框架包括数据预处理、行为序列抽象和结果生成三个主要模块。首先，对原始交互日志进行清洗和格式化；其次，利用LLM进行行为序列的抽象；最后，生成可解释的高层次活动描述。
关键创新：WorkflowView的核心创新在于将大型语言模型应用于行为序列的抽象，显著提高了对低级数据的理解能力，与传统深度学习方法相比，具有更强的鲁棒性和泛化能力。
关键设计：在模型设计中，采用了特定的损失函数以优化语义相似度，并在训练过程中使用了少量示例以增强模型的学习能力。
🖼️ 关键图片
📊 实验亮点
在实验中，WorkflowView在零-shot任务描述重建中实现了高达0.91的语义相似度，而在少-shot学生辍学预测中，使用仅五个示例便达到了0.90的加权F1值。这些结果表明该框架在处理复杂行为序列时的高效性和准确性。
🎯 应用场景
WorkflowView框架在多个领域具有广泛的应用潜力，包括数字产品的用户行为分析、教育平台的学习行为预测，以及文档工作流中的AI工具集成分析。其能够提供更深入的用户洞察，帮助产品改进和用户体验优化，具有重要的实际价值和未来影响。
📄 摘要（原文）
Sequential or time-stamped interaction logs provide objective records of digital application usage, yet their granularity and noise often obscure meaningful insights into people's work. Such insights are essential for improving digital products in ways grounded in real-world user interactions. Prior research has applied deep learning models to cluster user actions into high-level activities, but these approaches are highly sensitive to noise and struggle to generalize across applications. To address this limitation, we introduce WorkflowView, a framework that uses large language models (LLMs) to abstract low-level action sequences into high-level activities. We establish the effectiveness and generality of our approach across three distinct, challenging sequential tasks and diverse domains: (a) zero-shot task description reconstruction from browser logs (achieving high semantic similarity, $μ_{sim} = 0.91$), (b) few-shot student dropout prediction using MOOC interaction logs (reaching weighted $F_1 = 0.90$ with only five few-shot examples), and (c) anonymized, privacy-preserving analysis of AI tool integration within document workflows in Microsoft Word. Our work demonstrates that LLM-based abstraction is a robust and efficient path forward for transforming low-level behavioral data into high-level, interpretable, and actionable insights. We also discuss practical considerations for deploying LLM-based inferences within logging infrastructures, including computational efficiency and user privacy.