Grounding LLM Agents in Business Processes: Process-Aware Knowledge Graphs for Reliable Multi-Step Service Invocation

📄 arXiv: 2610.37242v1 📥 PDF

作者: Saiful Khan, Afrah Farea

分类: cs.AI, cs.SE

发布日期: 2026-10-27

💡 一句话要点

提出基于过程感知知识图的LLM代理以解决API调用可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 API调用 知识图谱 业务流程 检索增强 多步骤查询 OData BPMN

📋 核心要点

  1. 现有的服务发现方法未能考虑API调用中的流程和模式约束，导致选择错误的端点和无效的负载键。
  2. 本文提出了一种将OData元数据和BPMN流程集成到类型化属性图中的方法，通过混合检索器来识别和调用API端点。
  3. 实验结果显示，该方法在低词汇重叠的查询中提高了召回率，并在多步骤任务中显著提升了完成率。

📝 摘要（中文）

大型语言模型（LLM）代理在调用企业API时需要选择正确的端点、遵循流程顺序、使用有效的负载键，并从预定义列表中选择编码值。然而，当前的检索增强服务发现方法独立处理端点，忽视了流程和模式约束。为了解决这一问题，本文将开放数据协议（OData）元数据和业务流程模型与标记（BPMN）参考流程集成到一个类型化属性图中。通过混合检索器，利用密集嵌入识别候选端点，并沿着流程边缘检索后续端点。实验结果表明，该方法在42个企业服务上显著提升了召回率，并在多步骤查询中表现优异。

🔬 方法详解

问题定义：本文旨在解决大型语言模型代理在调用企业API时面临的端点选择和流程遵循问题。现有方法未能有效整合流程和模式约束，导致API调用的可靠性下降。

核心思路：通过将OData元数据与BPMN参考流程结合，构建一个类型化属性图，以便在检索过程中考虑流程结构，从而提高API调用的准确性和可靠性。

技术框架：整体架构包括数据预处理、类型化属性图构建、混合检索器设计和多步骤查询执行。混合检索器利用密集嵌入识别候选端点，并沿着流程边缘进行后续检索。

关键创新：最重要的创新在于将流程和模式约束引入到API检索过程中，使得端点选择不仅依赖于语义相似性，还考虑了业务流程的逻辑顺序。

关键设计：在参数设置上，采用了多种嵌入模型进行比较，损失函数设计考虑了召回率和准确率的平衡。网络结构上，混合检索器结合了图神经网络和传统检索模型的优点。

📊 实验亮点

实验结果显示，在42个企业服务的评估中，本文方法在低词汇重叠的查询中提高了召回率5.7个百分点，且在81个多步骤查询中，任务完成率达到38.7%，相比于基于块的基线（10.3%）有显著提升。这表明流程结构的引入对API调用的可靠性有重要影响。

🎯 应用场景

该研究的潜在应用领域包括企业服务自动化、智能客服系统和API管理平台。通过提高API调用的可靠性，能够显著提升企业的业务流程效率和用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language model (LLM) agents that call enterprise APIs must select the correct endpoints, follow process order, use valid payload keys, and choose coded values from predefined lists. However, current retrieval-augmented service discovery treats endpoints independently and therefore misses process and schema constraints. We address this limitation by integrating Open Data Protocol (OData) metadata and Business Process Model and Notation (BPMN) reference processes in a typed property graph. A hybrid retriever identifies candidate endpoints using dense embeddings and follows process edges to retrieve subsequent endpoints. We evaluate the method on 42 enterprise services with process-chain ground truth. For queries with low lexical overlap between the query and downstream entities, it improves Recall@3 by 5.7 points (n=74), with consistent gains across embedding models and cut-offs. It matches dense retrieval on other queries and provides no improvement on OpenAPI services without a process layer, indicating that the gains arise from process structure. We also evaluate an LLM agent on 81 multi-step queries. It completes 38.7% of tasks, compared with 10.3% for a chunk-based baseline. In an elicitation probe, providing valid code lists eliminates invented codes but leaves invalid keys in 46% of write runs. Full typed context reduces invalid calls to 3% (3 of 101 runs), with no invented codes. These results show that exposing process and schema constraints during retrieval improves the reliability of agent-driven API calls.