E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation
作者: Wei Fan, Xinjie Shen, Xudong Guo, Jianhong Tu, Yang Su, Yinger Zhang, Lianghao Deng, Fengyu Wang, Baohua Dong, Yangqiu Song, Dayiheng Liu
分类: cs.LG, cs.CL
发布日期: 2026-08-31
🔗 代码/项目: GITHUB
💡 一句话要点
提出E-Commerce Bench以评估长时间自主商业操作中的LLM代理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间代理任务 大型语言模型 电商基准测试 动态环境 多轮谈判
📋 核心要点
- 现有方法在长时间代理任务中难以处理动态环境和长程依赖性，导致性能不稳定。
- 论文提出E-Commerce Bench，通过模拟一年内的多轮商业操作，评估LLM在复杂环境中的表现。
- 实验结果显示，GPT-5.6 Sol在年末资产上表现最佳，但在欺诈避免和运营效率上排名较低。
📝 摘要（中文）
长时间代理任务超越了短任务的简单链式执行，其动态环境和长程依赖性要求大型语言模型（LLMs）在数千个步骤中不断探索、学习和适应。我们介绍了E-Commerce Bench，这是第一个开源基准，整合了多轮对手谈判和动态事件，模拟了一年的商业运营。在365天内，LLM代理同时运营多个在线商店，进行市场研究、与供应商谈判、优化销售策略、处理订单和管理现金流，以最大化年末总资产。为了构建真实的商家运营环境，产品和供应商数据来源于真实电商平台，同时一年的促销、自然灾害和供应链冲击不断重塑需求。我们评估了18个前沿模型，发现没有单一模型占据绝对优势。
🔬 方法详解
问题定义：本论文旨在解决长时间自主商业操作中LLM代理在动态环境下的表现评估问题。现有方法往往无法有效处理长程依赖和动态变化的市场环境，导致评估结果不够准确。
核心思路：论文的核心思路是构建一个综合性的基准测试平台E-Commerce Bench，模拟真实的商业运营环境，允许LLM代理在多轮谈判和动态事件中进行学习和适应。这样的设计使得评估更加贴近实际应用场景。
技术框架：整体架构包括多个模块：市场研究、供应商谈判、销售策略优化、订单处理和现金流管理。每个模块都与动态事件（如促销和自然灾害）相互作用，形成一个复杂的商业生态系统。
关键创新：最重要的技术创新在于将多轮谈判和动态事件整合到一个长时间的商业运营中，使得LLM能够在真实的市场环境中进行学习和适应。这与传统的短期任务评估方法本质上不同。
关键设计：在模型设计上，采用了确定性的市场模型，客户购买和退货遵循固定需求模型，谈判过程则由一个谈判内核控制，确保了实验的可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-5.6 Sol在年末资产上从10万增长至1,431,425，尽管在欺诈避免上排名第16，但在整体收益上表现突出。Qwen3.8-Max-Preview在开放权重模型中表现最佳，年末资产达到416,252，比GLM 5.2高出38%。
🎯 应用场景
该研究的潜在应用领域包括电商平台的智能代理、供应链管理和市场分析等。通过提供一个真实的评估环境，E-Commerce Bench能够帮助研究者和开发者更好地理解LLM在复杂商业场景中的表现，从而推动智能代理技术的发展。
📄 摘要（原文）
Long-horizon agentic tasks go beyond chaining short tasks over more interaction turns. Their evolving dynamic environments and long-range dependencies require Large Language Models (LLMs) to continually explore, learn from experience, and adapt their policies over thousands of steps. We introduce E-Commerce Bench, the first open-source benchmark that integrates multi-round counterpart negotiation and dynamic events into a year-long business operation. Over a 365-day year, an LLM agent concurrently runs multiple online stores, researching the market, negotiating with suppliers to source inventory, optimizing sales strategies, fulfilling orders, handling returns, and managing cash flow to maximize its end-of-year total assets. To construct a realistic merchant-side operating environment, the product and supplier data are derived from a real e-commerce platform, while a year-long calendar of promotions, natural disasters, and supply-chain shocks continually reshapes demand. For reproducibility, both sides of the market are deterministic: customer purchases and returns follow a fixed demand model, while a negotiation kernel determines supplier pricing, concessions, and decisions, with an LLM used only to verbalize them. We evaluate 18 frontier models across seven dimensions, including year-end assets, and find that no single model dominates. GPT-5.6 Sol earns the most, growing the 100,000 opening stake into 1,431,425, yet it ranks 16th of 18 on fraud avoidance and trails Fable5 in operational efficiency. Among open-weight models, Qwen3.8-Max-Preview leads with 416,252, 38% above GLM 5.2 (high), and achieves the strongest learning over the horizon, progressively bargaining down prices across repeated orders. Our code is available at https://github.com/QwenLM/E-CommerceBench.