Workflow Cards: Structured Summaries of Workflow Executions Using Provenance Data
作者: Nicola Giuseppe Marchioro, Gabriele Padovani, Amal Gueroudji, Rafael Ferreira da Silva, Wesley Brewer, Valentine Anantharaj, Sandro Fiore, Renan Souza
分类: cs.DC, cs.AI
发布日期: 2026-08-11
备注: Accepted at eScience2026
💡 一句话要点
提出工作流卡以解决工作流执行文档不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工作流卡 机器学习文档 数据准备 模型评估 可解释性
📋 核心要点
- 现有的模型卡和数据卡主要关注静态工件，忽视了工作流执行中的关键信息，导致文档不足。
- 提出工作流卡，通过结构化的方式总结工作流执行的来源数据，使其既可供人类阅读，也可供大型语言模型分析。
- 实验结果显示，工作流卡在信息质量上几乎是基于模式查询的两倍，提升了一致性和准确性。
📝 摘要（中文）
模型卡和数据卡展示了结构化、可读性强的文档在机器学习工件中的价值，捕捉其背景、参数、局限性和预期用途。然而，这些实践主要集中在静态工件上，忽视了产生、转化和评估这些工件的工作流执行。工作流执行包含关于数据准备、参数选择、运行时行为、资源使用和中间转化的关键信息，正是偏差、性能变化和可重复性差距的来源。为填补这一空白，本文提出工作流卡：将机器可读的工作流执行来源数据浓缩为人类和大型语言模型（LLMs）均可读取和分析的形式。本文分为两部分：首先定义了工作流卡模板，其依据一组代表性的来源问题；其次评估了LLMs使用工作流卡理解工作流执行的有效性，结果表明工作流卡显著提高了信息质量。
🔬 方法详解
问题定义：本文旨在解决现有模型卡和数据卡在工作流执行文档方面的不足，特别是缺乏关于执行过程的详细信息，这些信息对于理解数据准备和模型评估至关重要。
核心思路：通过引入工作流卡，论文提供了一种结构化的文档形式，能够将工作流执行的来源数据以人类可读的方式呈现，从而填补现有文档的空白。
技术框架：工作流卡的整体架构包括两个主要模块：一是定义工作流卡模板，二是评估其在LLMs中的应用效果。模板设计基于一系列来源问题，确保覆盖执行过程中的重要信息。
关键创新：工作流卡的最大创新在于其结构化的文档形式，能够有效整合和呈现工作流执行的动态信息，与静态的模型卡和数据卡形成鲜明对比。
关键设计：在设计工作流卡时，重点考虑了来源问题的选择和信息的组织方式，以确保其能够有效支持LLMs的理解和分析，同时保持人类可读性。具体参数和结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用工作流卡的LLMs在理解工作流执行方面的回答质量几乎是基于模式查询的两倍，且在各项评估中表现出一致的提升。这一发现强调了工作流卡在文档化和信息提取中的重要性。
🎯 应用场景
工作流卡的提出为机器学习领域的文档化提供了新的思路，特别是在数据准备和模型评估的透明性方面。其潜在应用包括提升机器学习模型的可解释性、增强研究的可重复性以及为数据科学家提供更清晰的工作流记录。这一创新有助于推动机器学习的负责任使用和更广泛的应用。
📄 摘要（原文）
Model Cards and Data Cards have demonstrated the value of structured, human-readable documentation for machine learning artifacts, capturing their context, parameters, limitations, and intended use. However, these practices remain focused on static artifacts (the datasets and trained models themselves) while overlooking the workflow executions that produce, transform, and evaluate them. Such executions hold critical details about data preparation, parameter choice, runtime behavior, resource use, and intermediate transformations, precisely where bias, performance variation, and reproducibility gaps tend to originate. To close this gap, we introduce Workflow Cards: structured summaries that condense the machine-readable provenance data of a workflow execution into a form both humans and large language models (LLMs) can read and analyze. This paper has two main parts. First, it defines a Workflow Card template informed by a representative set of provenance questions that surface from the execution-level data missing from Model and Data Cards. Second, it evaluates how effectively LLMs use Workflow Cards to understand workflow executions compared with querying provenance databases through a schema-based interface. Results show that Workflow Cards provide execution-level information absent from existing card types, such as Model Cards and Data Cards, thereby filling an important documentation gap; and that Workflow Cards nearly double answer quality compared with schema-based querying, consistently across LLM-as-a-Judge and human assessments.