AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations
作者: Qiming Shi, Yikun Li, Beidi Luan, Rui Sun, Yan Ma, Jing Li, Daxin Jiang, Zuo Bai
分类: cs.AI, cs.CL
发布日期: 2026-10-27
💡 一句话要点
提出AutoVend基准以评估LLM代理在长期自动售货操作中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自动售货机 长期决策 经济回报 库存管理 O2O商业 基准评估
📋 核心要点
- 现有方法在评估LLM代理的经济效益时，往往只关注单次交易，缺乏对长期运营的全面分析。
- 论文提出AutoVend基准，通过模拟环境评估LLM代理在管理自动售货机中的长期决策能力。
- 实验结果显示，四个LLM代理未能超越基于规则的基线，且推理成本的回报与单纯的经济回报存在差异。
📝 摘要（中文）
大型语言模型（LLM）代理正在将代理中介商业从消费者购物扩展到卖方运营。在在线到离线（O2O）商业中，决策通过基于Web的平台发出，但通过昂贵的物理执行实现。评估这些代理需要超越单个交易，考察在线决策是否转化为持续的经济回报。我们引入了AutoVend，一个基准，其中一个LLM代理通过Web操作界面管理20台自动售货机，覆盖五种场地类型，模拟180天。其数据驱动的模拟器结合了共享仓库、采购提前期、付费补货、库存过期和重复运营成本。我们评估了五个LLM代理与基于规则的库存控制基线，并诊断其场地协调、执行和随时间的表现。结果显示，五个评估的LLM代理中有四个未能达到基线，推理成本每美元的回报与单纯的回报排名不同。运营分析表明，个别指标的提升并不总能带来更强的经济增长，因为库存和执行成本侵蚀了这些收益。
🔬 方法详解
问题定义：本论文旨在解决如何有效评估LLM代理在长期自动售货操作中的经济效益。现有方法往往只关注短期交易，忽视了长期决策的复杂性和成本。
核心思路：论文的核心思路是通过AutoVend基准，模拟LLM代理在管理自动售货机的长期决策过程，综合考虑库存管理、执行成本和经济回报。
技术框架：整体架构包括一个数据驱动的模拟器，涵盖共享仓库、采购提前期、付费补货、库存过期和重复运营成本等模块。LLM代理通过Web操作界面进行管理，模拟180天的运营。
关键创新：最重要的技术创新在于引入了长期经济回报的评估标准，超越了传统的单次交易评估方法，提供了更全面的决策分析框架。
关键设计：在设计上，论文设置了多个关键参数，包括库存管理策略、执行成本计算和经济回报的评估指标，确保模拟环境的真实有效性。
📊 实验亮点
实验结果显示，五个评估的LLM代理中有四个未能超越基于规则的库存控制基线，且推理成本的回报与经济回报的排名存在显著差异。这表明在库存管理和执行成本方面，LLM代理面临挑战，未能实现预期的经济增长。
🎯 应用场景
该研究的潜在应用领域包括自动售货机管理、智能零售系统和O2O商业模式的优化。通过评估LLM代理的长期决策能力，能够为企业提供更高效的运营策略，提升经济效益，推动智能商业的发展。
📄 摘要（原文）
Large language model (LLM) agents are extending agent-mediated commerce on the Web from shopping for consumers to operating businesses for sellers. In online-to-offline (O2O) commerce, decisions are issued through Web-based platforms but realized through costly physical execution. Evaluating such agents requires going beyond individual transactions to ask whether decisions made online turn into sustained economic returns. We introduce AutoVend, a benchmark in which one LLM agent manages 20 vending machines across five site types through a Web-based operating interface for 180 simulated days. Its data-grounded simulator combines a shared warehouse, procurement lead times, paid replenishment, inventory expiration, and recurring operating costs. We evaluate five LLM agents against a rule-based inventory-control baseline and diagnose their site coordination, execution, and performance over time. Four of five evaluated LLM agents fall short of this baseline, and returns per dollar of inference cost rank models differently from returns alone. Operational analyses show that gains in individual metrics do not consistently yield stronger economic growth, as inventory and execution costs erode these gains. Trajectory analysis further reveals difficulties in grounding feasible actions, managing inventory commitments, and converting feedback into effective policy revisions.