Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
作者: Haochen Wu, Yi Hou, Shiguang Xie
分类: cs.AI, cs.LG, cs.MA
发布日期: 2026-06-11
备注: Accepted at ICML 2026 Workshop on Reinforcement Learning from World Feedback (RLxF)
💡 一句话要点
提出基于延迟反馈的多智能体强化学习以优化三方调度目标权重
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 延迟反馈 三方市场 调度优化 食品配送 动态权重调整 双Q学习 保守正则化
📋 核心要点
- 核心问题：现有调度方法在处理延迟反馈和多目标优化时面临挑战，难以平衡配送质量与效率。
- 方法要点：提出了一种基于延迟市场反馈的强化学习系统，通过学习商店级策略动态调整调度目标权重。
- 实验或效果：离线训练的策略在生产环境中显著提高了批量处理能力，降低了快递员时间成本，同时保持了客户交付质量。
📝 摘要（中文）
三方市场的调度提供了一个自然的强化学习场景，决策通过延迟的运营结果进行评估，如配送速度、快递员利用率和商家拥堵。本文提出了一种在DoorDash部署的强化学习系统，利用延迟信号调整大型食品配送市场的调度目标权重。该方法通过学习的商店级策略选择离散乘数，调整调度优化器在配送质量和批量效率之间的权衡。此接口支持在噪声、延迟和耦合反馈下的离线策略学习，同时保持生产可行性约束和操作安全性。通过集中式离线数据和分散式商店级执行训练共享价值函数，采用双Q学习目标和保守正则化以减少分布外价值的高估。在生产切换实验中，离线训练的策略提高了批量处理能力，降低了快递员的时间成本，而未降低客户交付质量。结果表明，如何利用来自实时经济和物流系统的反馈安全地在线调整决策政策。
🔬 方法详解
问题定义：本文旨在解决三方市场调度中延迟反馈对决策优化的影响，现有方法在处理多目标优化时难以有效平衡配送质量与效率，导致资源利用不充分。
核心思路：通过引入延迟反馈信号，学习商店级策略来动态调整调度目标权重，而不是完全替代组合分配优化器，从而实现更灵活的决策调整。
技术框架：整体架构包括数据收集、离线策略学习和在线执行三个主要模块。首先，从市场数据中提取信息，然后使用集中式数据训练共享价值函数，最后在商店级别执行策略。
关键创新：最重要的创新在于通过延迟反馈信号进行目标权重的动态调整，结合双Q学习和保守正则化，显著降低了分布外价值的高估风险。
关键设计：采用离散乘数选择机制来调整调度优化器的权衡，设计了适应性损失函数以处理噪声和耦合反馈，同时确保生产可行性和操作安全性。
🖼️ 关键图片
📊 实验亮点
在生产切换实验中，离线训练的策略实现了批量处理能力的显著提升，快递员的时间成本降低了，同时客户交付质量保持不变。这表明该方法在实际应用中具有良好的效果和可行性。
🎯 应用场景
该研究的潜在应用领域包括食品配送、物流管理和其他需要动态调度的市场环境。通过优化调度策略，可以提高资源利用率，降低运营成本，提升客户满意度，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Dispatch in three-sided marketplaces provides a natural setting for reinforcement learning from world feedback: decisions are evaluated by delayed operational outcomes such as delivery speed, courier utilization, and merchant congestion. We present a deployed reinforcement learning system at DoorDash that adapts dispatch objective weights in a large-scale food-delivery marketplace using delayed signals. Rather than replacing the combinatorial assignment optimizer, a store-level policy learned from logged marketplace data selects a discrete multiplier that shifts the dispatch optimizer's tradeoff between delivery quality and batching efficiency. This interface enables offline policy learning under noisy, delayed, and coupled feedback while preserving production feasibility constraints and operational safeguards. We train a shared value function using centralized offline data and decentralized store-level execution, with Double Q-learning targets and a conservative regularizer to reduce out-of-distribution value overestimation. In a production switchback experiment, the offline-trained policy increases batching and reduces courier-side time costs without degrading customer-facing delivery quality. Results illustrate how world feedback from a live economic and logistics system can be used to safely adapt decision policies online.