LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks
作者: Xiao Zhang, Qumeng Sun, Jihao Li, Yiming Ren, Xiang Liu, Haoyang Zhang, Junjie Wang
分类: cs.CL
发布日期: 2026-08-24
💡 一句话要点
提出LongWoF-Bench以评估EvoMap基因在长流程任务中的可验证性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长流程任务 EvoMap 可验证性 机器学习 执行轨迹 基因重用 自动化
📋 核心要点
- 现有方法在执行复杂工作流程时，成功经验往往在单次运行后丢失，导致后续模型需重新学习。
- 论文提出EvoMap，通过将验证过的执行轨迹整合为结构化基因，来外部化和重用成功经验。
- 实验结果显示，EvoMap基因在多个模型上均优于传统技能方法，且在解决时间上也有显著减少。
📝 摘要（中文）
随着大型语言模型在执行复杂工作流程中的应用日益增多，成功执行的经验往往在单次运行后丢失，导致后续模型需重新发现策略和失败模式。本文研究了如何通过EvoMap将验证过的执行轨迹外部化并重用，提出了Long-Workflow Benchmark (LongWoF-Bench)，包含778个可机器验证的任务。实验结果表明，基于EvoMap基因的模型在252个任务上表现优于传统技能方法，提升幅度为8.7-15.5个百分点，且在减少解决时间的同时完成更多任务，证明了验证执行经验的可重用性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在执行长流程任务时，成功经验的丢失问题。现有方法无法有效保留和重用这些经验，导致模型需从头开始学习策略和失败模式。
核心思路：论文的核心思路是通过EvoMap将验证过的执行轨迹外部化为结构化基因，从而实现经验的重用。这种设计旨在减少模型在执行复杂任务时的学习成本，提高效率。
技术框架：整体架构包括EvoMap的构建、验证执行轨迹的整合以及基因的重用。主要模块包括任务生成、执行轨迹验证和基因优化。
关键创新：最重要的技术创新在于提出了EvoMap基因的概念，强调了验证经验的来源与基因效用之间的密切关系。这与现有方法的本质区别在于，单纯的紧凑表示并不足以提升性能。
关键设计：在实验中，采用了验证过的Opus轨迹作为基因的基础，设置了多种参数以优化基因的表现，损失函数设计上注重于验证经验的有效性和可重用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于EvoMap基因的模型在252个任务上比传统技能方法提升了8.7-15.5个百分点，且在Claude Opus模型中，基因重用完成了39个额外任务，同时减少了解决时间的token消耗9.9%。
🎯 应用场景
该研究的潜在应用领域包括自动化代码生成、智能代理环境合成、数学推理和规则遵循等。通过有效重用验证经验，模型能够在长流程任务中更高效地完成目标，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models are increasingly expected to execute complex workflows whose success depends on maintaining interdependent constraints and producing artifacts that satisfy strict end-to-end verification. Yet successful execution experience is typically lost after a single run, forcing subsequent models to rediscover strategies and failure modes from scratch. We study whether such experience can instead be externalized and reused through EvoMap, where verifier-confirmed execution trajectories are consolidated into structured Gene. To evaluate this setting, we introduce the Long-Workflow Benchmark (LongWoF-Bench), comprising 778 machine-verifiable tasks across code generation, agent-environment synthesis, mathematical reasoning, and rule following. On the 252 tasks with verifier-confirmed Opus trajectories, evolved EvoMap Gene outperform Skill across all seven evaluated models by 8.7-15.5 percentage points, with the gains extending to consumer models from different model families. In contrast, reference-distilled Gene do not exhibit the same advantage, indicating that compact representation alone is insufficient and that Gene utility is closely associated with verified experience provenance. For Claude Opus, Gene reuse also completes 39 more tasks than Skill while reducing solve-time token consumption by 9.9%. Together, these results show that verified execution experience can be retained and shared as a reusable external resource, enabling models to improve long-workflow completion without repeatedly paying the full cost of experience discovery.