Out-of-Distribution Generalisation with Sequence Models in Offline Multi-Agent Reinforcement Learning

📄 arXiv: 2609.03667v1 📥 PDF

作者: Oussama Hidaoui, Omer Ebead, Ulrich Armel Mbou Sob, Siddarth Singh, Juan Claude Formanek, Felix Chalumeau, Omayma Mahjoub, Sasha Abramowitz, Ruan John de Kock, Wiem Khlifi, Louay Ben Nessir, Simon Verster Du Toit, Daniel Rajaonarivonivelomanantsoa, Asim Awad Osman, Arnol Manuel Fokam, Refiloe Shabe, Arnu Pretorius

分类: cs.LG, cs.AI

发布日期: 2026-09-03

备注: 10 pages, 6 figures

💡 一句话要点

提出多任务序列模型以解决离线多智能体强化学习中的零-shot任务泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线强化学习 多智能体系统 任务泛化 序列建模 零-shot学习 实验验证 模型扩展

📋 核心要点

  1. 现有的离线多智能体强化学习方法在泛化到未见任务时面临显著挑战，尤其是在任务多样性不足的情况下。
  2. 本文提出了一种扩展的离线序列建模架构，能够处理多任务的观察和动作空间，强调任务多样性的重要性。
  3. 通过在四个复杂环境中进行实验，结果显示多任务方法在保留测试任务上平均提升3.2倍，显著优于单任务模型。

📝 摘要（中文）

在离线多智能体强化学习（MARL）中，泛化到未见任务仍然是一个基本挑战。本文对离线环境中的零-shot任务泛化进行了系统分析，并通过大量实验证明任务多样性、数据集规模和网络容量之间的关系。我们扩展了离线序列建模架构，以处理多任务观察和动作空间，并在四个复杂环境中进行大规模实验，结果显示多任务方法在保留测试任务上平均提升3.2倍，超越了单任务模型和强行为克隆基线。这表明，开发可泛化的MARL智能体应优先考虑训练分布的多样性。

🔬 方法详解

问题定义：本文旨在解决离线多智能体强化学习中零-shot任务泛化的挑战。现有方法往往依赖于数据集规模，而忽视了任务多样性的重要性。

核心思路：论文提出了一种新的多任务序列建模架构，强调任务多样性在实现强大零-shot转移中的关键作用。通过增加任务的多样性，模型能够更好地适应未见任务。

技术框架：整体架构包括多任务观察和动作空间的处理模块，能够适应不同数量的智能体。模型通过扩展的序列建模技术来实现任务的有效学习。

关键创新：最重要的创新在于提出了任务多样性作为提升零-shot泛化能力的核心因素，这与传统方法强调数据集规模的思路形成鲜明对比。

关键设计：在模型设计中，采用了适应性网络结构和特定的损失函数，以优化多任务学习的效果，同时确保模型在不同任务间的有效迁移。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的多任务方法在四个复杂环境中实现了平均3.2倍的性能提升，相较于单任务模型和强行为克隆基线，表现出更强的泛化能力。这一结果强调了任务多样性在离线MARL中的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、机器人协作和多智能体游戏等场景。在这些领域中，智能体需要在动态和复杂的环境中进行决策，能够有效泛化到未见任务将显著提升系统的灵活性和适应能力。未来，这一研究方向可能推动更智能的自主系统的发展。

📄 摘要（原文）

Generalising to unseen tasks remains a fundamental challenge in offline multi-agent reinforcement learning (MARL). In this work, we present a principled analysis of zero-shot task generalisation in the offline setting and conduct an extensive empirical investigation into the scaling behaviour governing task diversity, dataset size, and network capacity. To facilitate this study, we extend offline sequence modelling architectures to handle multi-task observation and action spaces alongside variable agent counts across tasks. Our primary finding is that scaling task diversity---rather than sheer dataset size is the dominant factor in achieving robust zero-shot transfer. Through large-scale experiments across four challenging environments (Connector, RWARE, SMAX, and LBF), we demonstrate that our multi-task approach achieves a mean improvement of 3.2x on held-out test tasks compared to single-task models and consistently outperforms strong behaviour cloning baselines. These results suggest that the development of generalisable MARL agents should prioritise the diversity of the training distribution with varying numbers of agents, providing a roadmap for scaling offline MARL effectively.