MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation

📄 arXiv: 2603.05760v1 📥 PDF

作者: Rifny Rachman, Josh Tingey, Richard Allmendinger, Wei Pan, Pradyumn Shukla, Bahrul Ilmi Nasution

分类: cs.LG

发布日期: 2026-03-05

💡 一句话要点

提出MIRACL框架，用于解决多目标多层级组合供应链优化中的少样本泛化问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 多目标优化 供应链优化 组合优化 帕累托优化

📋 核心要点

  1. 传统多目标强化学习在动态供应链优化中需针对特定任务进行重训练，计算成本高昂，泛化能力不足。
  2. MIRACL框架通过分层结构和元学习，实现了跨多样化任务的少样本泛化，提升了策略适应效率。
  3. 实验结果表明，MIRACL在超体积和预期效用方面均优于传统方法，验证了其在多目标问题中的有效性。

📝 摘要（中文）

本文提出了一种名为MIRACL（Meta multI-objective Reinforcement leArning with Composite Learning）的层级元多目标强化学习框架，旨在解决多目标多层级组合供应链优化问题中任务特定重训练和高计算成本的挑战。MIRACL将每个任务分解为结构化的子问题，以实现高效的策略适应，并使用基于帕累托的适应策略进行元学习，从而鼓励元训练和微调的多样性。据我们所知，这是元多目标强化学习与此类机制在组合优化中的首次集成。尽管MIRACL在供应链领域进行了验证，但理论上它与领域无关，适用于更广泛的动态多目标决策问题。实验评估表明，MIRACL在简单到中等复杂度的任务中优于传统的MORL基线，实现了高达10%的超体积提升和5%的预期效用提升。这些结果突显了MIRACL在多目标问题中实现稳健、高效适应的潜力。

🔬 方法详解

问题定义：论文旨在解决多目标多层级组合供应链优化问题。现有方法，特别是传统的多目标强化学习（MORL），在面对动态环境和多样化任务时，需要针对每个任务进行单独训练，导致计算成本高昂，且难以泛化到新的任务。这种任务特定的重训练阻碍了MORL在实际供应链场景中的应用。

核心思路：MIRACL的核心思路是利用元学习（Meta-Learning）的思想，学习一个能够在多个任务之间快速适应的通用策略。通过将每个任务分解为结构化的子问题，并采用基于帕累托的适应策略，鼓励在元训练和微调过程中策略的多样性，从而提高模型在面对新任务时的泛化能力。

技术框架：MIRACL是一个层级化的元多目标强化学习框架。整体流程包括：1) 任务分解：将复杂的供应链优化任务分解为更小的、结构化的子问题。2) 元训练：利用多个任务的数据进行元学习，训练一个能够快速适应新任务的全局策略。3) 策略适应：对于新的任务，利用少量样本进行微调，使全局策略快速适应新任务的需求。4) 帕累托优化：在元训练和微调过程中，采用基于帕累托的适应策略，鼓励策略的多样性，从而提高模型的鲁棒性。

关键创新：MIRACL的关键创新在于将元多目标强化学习与组合优化问题相结合，并引入了基于帕累托的适应策略。这是首次将元学习应用于解决多目标组合优化问题，并利用帕累托优化来鼓励策略的多样性。这种结合使得MIRACL能够在面对新的、未知的供应链场景时，快速学习并做出有效的决策。

关键设计：MIRACL的关键设计包括：1) 任务分解策略：如何将复杂的供应链优化任务分解为更小的、结构化的子问题。2) 元学习算法：选择合适的元学习算法，例如MAML或Reptile，来训练全局策略。3) 帕累托适应策略：设计合适的帕累托优化算法，例如NSGA-II或MOEA/D，来鼓励策略的多样性。4) 奖励函数设计：设计能够反映多个目标之间权衡关系的奖励函数，例如加权和或切比雪夫函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIRACL在简单到中等复杂度的供应链优化任务中，相较于传统的MORL基线方法，实现了显著的性能提升。具体而言，MIRACL在超体积（Hypervolume）指标上提升了高达10%，在预期效用（Expected Utility）指标上提升了5%。这些数据表明，MIRACL在多目标优化问题中具有更强的竞争力和实用价值。

🎯 应用场景

MIRACL框架具有广泛的应用前景，可应用于各种动态多目标决策问题，例如：智能交通调度、资源分配、金融投资组合优化等。通过学习跨任务的通用策略，MIRACL能够显著降低特定任务的训练成本，并提高决策的效率和鲁棒性，为企业提供更智能、更高效的决策支持。

📄 摘要（原文）

Multi-objective reinforcement learning (MORL) is effective for multi-echelon combinatorial supply chain optimisation, where tasks involve high dimensionality, uncertainty, and competing objectives. However, its deployment in dynamic environments is hindered by the need for task-specific retraining and substantial computational cost. We introduce MIRACL (Meta multI-objective Reinforcement leArning with Composite Learning), a hierarchical Meta-MORL framework that allows for a few-shot generalisation across diverse tasks. MIRACL decomposes each task into structured subproblems for efficient policy adaptation and meta-learns a global policy across tasks using a Pareto-based adaptation strategy to encourage diversity in meta-training and fine-tuning. To our knowledge, this is the first integration of Meta-MORL with such mechanisms in combinatorial optimisation. Although validated in the supply chain domain, MIRACL is theoretically domain-agnostic and applicable to broader dynamic multi-objective decision-making problems. Empirical evaluations show that MIRACL outperforms conventional MORL baselines in simple to moderate tasks, achieving up to 10% higher hypervolume and 5% better expected utility. These results underscore the potential of MIRACL for robust, efficient adaptation in multi-objective problems.