ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End?
作者: Jiajun Li, Mingshu Cai, Yixuan Li, Yu Ding, Ran Hou, Guanyu Nie, Xiongwei Han, Wanyuan Wang
分类: cs.AI
发布日期: 2026-06-18
备注: 31 pages, preprint, v1
💡 一句话要点
提出ORAgentBench以评估自主代理在运筹学任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 运筹学 自主代理 大型语言模型 评估基准 决策支持
📋 核心要点
- 现有运筹学评估方法将建模与求解分离，缺乏对完整工作流程的测试，导致评估结果不够全面。
- 本文提出ORAgentBench基准，通过107个任务评估自主代理在运筹学中的端到端表现，强调实际操作环境的重要性。
- 实验结果显示，当前代理在完成任务的可靠性上仍有很大提升空间，最佳代理仅通过35.51%的任务，且存在多种战略性弱点。
📝 摘要（中文）
大型语言模型越来越多地被部署为自主代理，用于可执行环境中的多步骤任务，但其在实际运筹学工作中的能力仍不明确。现有的运筹学评估往往将建模与求解分离，依赖于预先形式化或仅文本实例，且很少测试从操作工件到验证决策的完整工作流程。本文提出了ORAgentBench，这是一个基于执行的基准，用于评估自主代理在具有挑战性的端到端运筹学任务中的表现。该基准包含107个经过人工审核的任务，涵盖多种操作场景，每个任务都在一个隔离环境中打包，包含自然语言简要说明、多文件数据、配置工件和所需提交模式。实验结果表明，目前的代理在可靠的运筹学实践中仍然远远不够，最好的代理仅通过了35.51%的所有任务和20.59%的困难任务，许多可行的提交仍低于所需的质量阈值。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在运筹学任务中的实际应用能力不足的问题。现有方法往往忽视了从建模到求解的完整流程，导致评估不够全面和准确。
核心思路：论文提出ORAgentBench基准，旨在通过真实的操作场景和任务评估自主代理的端到端能力，强调在实际环境中进行测试的重要性。
技术框架：ORAgentBench包含107个任务，每个任务在隔离环境中进行，提供自然语言简要说明、多文件数据和配置工件，代理需要编写并运行解决方案代码，提交结果由隐藏验证者评估。
关键创新：该研究的创新点在于引入了执行基础的评估标准，强调了从操作工件到验证决策的完整工作流程，填补了现有评估方法的空白。
关键设计：任务设计包括多种操作场景，代理提交的解决方案需满足特定的模式和约束，评估标准包括模式有效性、硬约束可行性和目标质量的标准化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳代理仅通过了35.51%的所有任务和20.59%的困难任务，表明当前代理在运筹学实践中的可靠性仍有待提高。此外，失败分析揭示了多种战略性弱点，强调了改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括物流优化、生产调度、供应链管理等运筹学相关领域。通过提供一个标准化的评估基准，ORAgentBench可以帮助研究人员和工程师更好地理解和提升自主代理在复杂决策中的表现，推动智能决策系统的发展。
📄 摘要（原文）
Large language models are increasingly deployed as autonomous agents for multi-step tasks in executable environments, yet their ability to perform realistic operations research (OR) work remains unclear. Existing OR evaluations often decouple modeling from solving, rely on pre-formalized or text-only instances, and rarely test the full workflow from operational artifacts to validated decisions. In this work, we introduce ORAgentBench, an execution-grounded benchmark for evaluating autonomous agents on challenging end-to-end operations research tasks. It contains 107 human-reviewed tasks across diverse operational scenarios, each packaged in an isolated environment with a natural-language brief, multi-file data, configuration artifacts, and a required submission schema. Agents must write and run solution code, and their submissions are evaluated by hidden validators for schema validity, hard-constraint feasibility, and normalized objective quality. Experiments with fourteen frontier agent-model configurations show that current agents remain far from reliable OR practice. The best agent passes only 35.51% of all tasks and 20.59% of hard tasks, and many feasible submissions still fall below the required quality threshold. Failure analysis further shows that errors are dominated by strategic weaknesses, including missed operational rules, brittle formulations, weak feasible-solution construction, and insufficient solution improvement. OR-specific procedural skills increase hard-task feasibility, but do not reliably improve solution quality or pass rate. These results suggest that progress in OR agents requires moving beyond plausible optimization code toward dependable, high-quality operational decision-making.