Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows
作者: Jalal Mahmud, Eser Kandogan
分类: cs.DB, cs.AI
发布日期: 2026-07-01
💡 一句话要点
提出分析工作流中的语义差距解决方案
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 分析工作流 语义差距 操作化失败 跨领域研究
📋 核心要点
- 现有的工作流生成方法在处理分析意图时，常常无法有效捕捉所需的语义信息，导致操作化失败。
- 本文通过跨领域的实证研究，识别并分类了分析工作流中的操作化失败，提出了针对语义差距的解决思路。
- 研究发现了153个操作化失败案例，并归纳出五类主要失败类型，为未来的智能数据系统设计提供了重要参考。
📝 摘要（中文）
随着大型语言模型（LLMs）在生成查询、调用工具和构建分析工作流中的应用日益增加，尽管工作流生成和执行的技术进步显著，但实现分析概念所需的语义信息往往超出了数据库模式和数据值的明确表示。本文通过对236个跨领域的分析意图进行研究，识别出153个重复出现的操作化失败，归纳出比较基础、过程推理、定量推理、角色混淆和政策基础五类失败。这些发现表明用户级分析概念与工作流生成系统可用信息之间存在语义差距，未来的智能数据系统可能需要更丰富的语义表示来弥合分析意图与可执行计算之间的差距。
🔬 方法详解
问题定义：本文旨在解决在生成分析工作流时，用户意图与系统可用信息之间的语义差距。现有方法在捕捉复杂分析概念时存在明显不足，导致操作化失败。
核心思路：通过对236个分析意图的实证研究，识别出常见的操作化失败类型，进而提出改进建议，以增强工作流生成系统的语义理解能力。
技术框架：研究采用了定性分析方法，首先收集和分类分析意图，然后分析失败案例，最后总结出五类失败类型，形成系统的分析框架。
关键创新：本文的主要创新在于系统性地识别和分类了分析工作流中的操作化失败，揭示了用户意图与系统信息之间的语义差距，为后续研究提供了新的视角。
关键设计：研究中采用了跨领域的分析意图样本，确保了结果的广泛适用性，并通过定性分析方法深入探讨了每类失败的具体表现和原因。
🖼️ 关键图片
📊 实验亮点
研究发现了153个操作化失败案例，归纳出五类主要失败类型，尽管工作流生成和执行成功，但仍存在显著的语义差距。这一发现为未来的智能数据系统设计提供了重要的改进方向。
🎯 应用场景
该研究的潜在应用领域包括金融、人力资源和公共安全等多个行业，能够为智能数据系统的设计提供指导，帮助系统更好地理解和执行用户的分析意图，提升决策支持能力。未来，随着语义表示的丰富化，智能数据系统将能够更有效地处理复杂的分析任务。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to generate queries, invoke tools, and construct analytical workflows. Although recent advances have substantially improved workflow generation and execution, the semantic information required to operationalize analytical concepts often lies beyond what is explicitly represented in database schemas and data values. We present a cross-domain formative study of operationalization failures in agent-generated analytical workflows. Across 236 analytical intents spanning finance, human resources, and public safety domains, we identify 153 recurring failures despite successful workflow generation and execution. Our analysis reveals five recurring classes of failures: comparative grounding, process reasoning, quantitative reasoning, role confusion, and policy grounding. These findings suggest a semantic gap between user-level analytical concepts and the information available to workflow-generation systems. More broadly, they raise questions about the admissibility of analytical operations and suggest that future agentic data systems may require richer semantic representations to bridge the gap between analytical intent and executable computation.