Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
作者: Haochen Wu, Yi Hou, Shiguang Xie
分类: cs.AI, cs.LG, cs.MA
发布日期: 2026-06-12
💡 一句话要点
提出一种多智能体强化学习方法以适应三方调度中的延迟市场反馈
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 三方市场 调度优化 延迟反馈 食品配送 策略学习 资源利用率
📋 核心要点
- 核心问题：现有调度方法在面对延迟反馈时难以有效调整目标权重，影响配送效率与质量。
- 方法要点：提出通过商店级策略选择离散乘数，调整调度优化器的目标权重，以适应延迟市场反馈。
- 实验或效果：离线训练的策略在生产环境中提升了批量处理能力，减少了快递员时间成本，同时保持了交付质量。
📝 摘要（中文）
三方市场中的调度为从世界反馈中进行强化学习提供了自然的环境：决策通过延迟的操作结果进行评估，如交付速度、快递员利用率和商家拥堵。本文提出了一种在DoorDash部署的强化学习系统，利用延迟信号调整大规模食品配送市场中的调度目标权重。该方法并未替代组合分配优化器，而是通过从记录的市场数据中学习的商店级策略选择一个离散乘数，以调整调度优化器在交付质量和批量效率之间的权衡。此接口使得在噪声、延迟和耦合反馈下进行离线策略学习成为可能，同时保持生产可行性约束和操作安全性。在生产切换实验中，离线训练的策略提高了批量处理能力，减少了快递员的时间成本，而未降低客户交付质量。结果表明，如何利用来自实时经济和物流系统的世界反馈安全地在线调整决策政策。
🔬 方法详解
问题定义：本文旨在解决三方市场调度中因延迟反馈导致的目标权重调整困难问题。现有方法往往无法有效利用延迟的操作结果，影响了调度的灵活性和效率。
核心思路：论文提出通过学习商店级策略来选择一个离散乘数，调整调度优化器在交付质量和批量效率之间的权衡。这种设计允许在延迟和噪声反馈下进行有效的策略学习。
技术框架：整体架构包括数据收集、离线策略学习和在线执行三个主要模块。首先，从市场数据中收集反馈，然后利用集中式离线数据训练共享价值函数，最后在商店级别进行去中心化执行。
关键创新：最重要的创新在于通过离散乘数的选择来调整调度目标权重，而不是直接替代现有的组合优化器。这种方法能够在保持生产可行性的同时，适应复杂的市场反馈。
关键设计：在技术细节上，采用了双Q学习目标和保守正则化器，以减少分布外价值的高估。此外，策略学习过程中考虑了操作安全性约束，确保了实际应用的可行性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，离线训练的策略在生产环境中显著提高了批量处理能力，快递员时间成本减少，且客户交付质量未受影响。这一策略在生产切换实验中表现出色，展示了其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括食品配送、物流调度和其他需要实时决策优化的三方市场。通过有效利用延迟反馈，能够提高资源利用率和客户满意度，具有显著的实际价值和未来影响。
📄 摘要（原文）
Dispatch in three-sided marketplaces provides a natural setting for reinforcement learning from world feedback: decisions are evaluated by delayed operational outcomes such as delivery speed, courier utilization, and merchant congestion. We present a deployed reinforcement learning system at DoorDash that adapts dispatch objective weights in a large-scale food-delivery marketplace using delayed signals. Rather than replacing the combinatorial assignment optimizer, a store-level policy learned from logged marketplace data selects a discrete multiplier that shifts the dispatch optimizer's tradeoff between delivery quality and batching efficiency. This interface enables offline policy learning under noisy, delayed, and coupled feedback while preserving production feasibility constraints and operational safeguards. We train a shared value function using centralized offline data and decentralized store-level execution, with Double Q-learning targets and a conservative regularizer to reduce out-of-distribution value overestimation. In a production switchback experiment, the offline-trained policy increases batching and reduces courier-side time costs without degrading customer-facing delivery quality. Results illustrate how world feedback from a live economic and logistics system can be used to safely adapt decision policies online.