Evaluating LLM Trade-offs for Enterprise Automation: Lessons from Workflow Generation in a Production Enterprise Platform

📄 arXiv: 2608.03311v1 📥 PDF

作者: Xavier Wrenn, Radoslav Raykov, Aleksandar Angelov, Hirokuni Kitahara, Yuji Watanabe, Anca Sailer

分类: cs.SE, cs.AI

发布日期: 2026-08-04

备注: 10 pages, 3 figures, 5 tables. Accepted at the 14th IEEE International Conference on Cloud Engineering (IC2E 2026), Industry Track

💡 一句话要点

提出基于大语言模型的工作流生成以应对企业合规管理挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 企业合规管理 工作流生成 大语言模型 IT自动化 混合云环境 模型选择 生产可行性

📋 核心要点

  1. 现有的静态编排器在混合云环境中无法快速适应事件驱动的合规管理需求，导致工作流生成效率低下。
  2. 论文提出了一种分段管道的工作流生成方法，将复杂的工作流构建任务分解为多个可管理的模块，从而提高生成效率和准确性。
  3. 实验结果显示，经过重新设计的管道在结构成功率上显著提升，部分小型模型的生成成本也大幅降低，具备了生产可行性。

📝 摘要（中文）

企业合规管理需要快速适应不断变化的监管框架和严格的补救服务水平协议。传统的静态编排器在混合云环境中常常无法满足事件驱动的评估需求。本文通过评估六种大语言模型在生产企业平台上的AI驱动工作流生成，基于29个真实IT自动化场景进行了基准测试。初始管道的结构成功率为31.5-82.8%，而经过重新设计的分段管道将成功率提升至74.1-97.8%。我们分析了生产中的成本、延迟和模型选择等权衡，提出了一种模型无关的可扩展自动化解决方案。

🔬 方法详解

问题定义：本文旨在解决企业合规管理中工作流生成的效率和准确性问题。现有的静态编排器在快速变化的混合云环境中表现不佳，无法满足事件驱动的需求。

核心思路：论文提出了一种分段管道的工作流生成方法，通过将工作流构建任务分解为可管理的模块，提升了生成的灵活性和准确性。这种设计使得即使是小型模型也能在生产环境中有效工作。

技术框架：整体架构包括三个主要模块：变量支架构建、基础块组装和嵌套块生成。初始管道采用单体式生成，而重新设计的分段管道则通过模块化提高了结构成功率。

关键创新：最重要的创新在于将工作流生成任务分解为多个阶段，使得不同模型在不同任务上表现更优。这种方法与传统的单一模型生成方法本质上不同，允许使用较小的模型而不依赖于昂贵的前沿模型。

关键设计：在实验中，使用了多种模型配置，评估了不同生成管道的性能。关键参数包括生成的结构有效性和语义正确性，确保生成的工作流不仅符合JSON模式，还能满足用户意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过重新设计的分段管道在所有模型中实现了74.1-97.8%的结构成功率，相较于初始管道的31.5-82.8%有显著提升。小型模型如mistral-small在结构成功率上达到95.7%，且每个工作流的生成成本仅为0.01美元，展现出良好的生产可行性。

🎯 应用场景

该研究的潜在应用领域包括企业合规管理、IT自动化和云工程等。通过提高工作流生成的效率和准确性，企业能够更快速地响应监管变化，降低合规风险，提升整体运营效率。未来，该方法有望在更广泛的自动化场景中得到应用，推动智能化管理的发展。

📄 摘要（原文）

Enterprise compliance management requires rapid adaptation to evolving regulatory frameworks (e.g., DORA, AI RMF, FedRAMP) and tight remediation SLAs. Traditional static orchestrators often fail in hybrid cloud environments where event-driven assessments demand that automation code adapt to runtime context in seconds. This paper presents lessons learned from evaluating six large language models for AI-driven workflow generation in a production enterprise platform, benchmarked across 29 real-world IT automation scenarios, two generation pipeline architectures, and eight independent runs per prompt-model-pipeline configuration (2,784 runs total). Our initial pipeline used monolithic workflow generation, achieving 31.5-82.8% structural success rates (JSON schema validity and correct UI rendering), with most models struggling on complex JSON generation. We developed a redesigned piecewise pipeline that decomposes workflow construction into variable scaffolding, base block assembly, and nested block generation, raising structural success to 74.1-97.8% across all models. We analyze production tradeoffs including cost (USD 0.008-0.20 per workflow), latency (under 50s for interactive use), and model selection. Piecewise decomposition enables smaller models (e.g., mistral-small at 95.7% structural success and USD 0.01 per workflow) to reach production viability, removing dependency on expensive frontier models. While mistral-medium-2505 and gpt-oss-120b achieved the highest structural success (96.1% and 97.8%), mistral-medium-2505 carries a 19x cost premium versus mistral-small. Our deployment lessons highlight the need to separate structural validity from semantic correctness (logical fulfillment of user intent) and provide a solution for model-agnostic, scalable automation in cloud engineering.