MARA: Flow-Matching-Guided Multi-Agent Resource Allocation for Computational Resource Efficient Learning

📄 arXiv: 2608.09130v1 📥 PDF

作者: Hanye Zhao, Muning Wen, Yong Yu, Weinan Zhang

分类: cs.LG, cs.AI

发布日期: 2026-08-10

备注: 10 pages, 4 figures, 6 tables

💡 一句话要点

提出MARA以解决多任务计算资源分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 计算资源分配 条件流匹配 多智能体系统 自回归策略 潜在进度奖励 云计算 智能制造

📋 核心要点

  1. 现有方法在处理多任务计算资源分配时，通常假设计算资源是连续可分的，未能有效应对任务到达时间的不确定性和计算节点的离散性。
  2. 本文提出MARA，通过条件流匹配预测未来损失，并利用合作的多智能体自回归策略来协调计算资源分配，解决了现有方法的不足。
  3. 实验结果显示，MARA在调度器的训练负载下，平均完成63.46%的任务，较强基线LARA提升了8.54个百分点，并在未见的重负载下仍保持优势。

📝 摘要（中文）

在有限计算资源的情况下，为多个并发学习任务分配资源是一项挑战，尤其是当每个任务必须在截止日期前达到目标损失时，而其所需的训练努力却未知。现有方法通常将计算视为连续可分的吞吐量，而本研究则关注任务随时间到达且计算由离散节点提供的实际场景。为此，本文提出了MARA，通过条件流匹配预测未来损失轨迹，并通过合作的多智能体自回归策略协调计算节点。潜在的进度奖励提供了中间训练反馈，同时保留了未折扣的任务完成目标。实验结果表明，MARA在不同工作负载下的表现优于现有方法。

🔬 方法详解

问题定义：本文旨在解决在有限计算资源下，如何为多个并发学习任务有效分配资源的问题。现有方法未能考虑任务到达时间的不确定性及计算资源的离散性，导致资源分配效率低下。

核心思路：MARA通过条件流匹配技术预测未来的损失轨迹，并采用合作的多智能体自回归策略来协调计算节点的资源分配。这种设计能够更准确地应对任务需求的不确定性。

技术框架：MARA的整体架构包括损失预测模块、资源协调模块和奖励机制。损失预测模块利用条件流匹配来预测未来损失，资源协调模块通过多智能体策略进行计算资源的动态分配，奖励机制则通过潜在进度奖励提供中间反馈。

关键创新：MARA的主要创新在于引入条件流匹配来预测损失轨迹，并通过多智能体自回归策略进行资源协调。这与现有方法的连续资源分配假设形成了本质区别。

关键设计：在MARA中，关键参数包括流匹配的条件设置、奖励函数的设计以及多智能体策略的具体实现。这些设计确保了模型在面对不确定性时的鲁棒性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MARA在调度器的训练负载下平均完成了63.46%的任务，较基线方法LARA提升了8.54个百分点。此外，在未见的重负载情况下，MARA仍表现出优越的任务完成能力，显示了其在实际应用中的潜力。

🎯 应用场景

MARA的研究成果在多个领域具有潜在应用价值，包括云计算资源管理、智能制造和自动驾驶等场景。在这些领域中，任务的计算需求往往不确定，MARA能够有效提高资源利用率和任务完成率，推动智能系统的高效运行。

📄 摘要（原文）

Allocating limited computation among concurrent learning tasks is difficult when each task must reach a target loss before a deadline but its required training effort is unknown. Existing approaches combine online loss prediction with adaptive resource allocation, yet commonly treat computation as continuously divisible throughput. We instead study a practical setting in which tasks arrive over time and computation is provided by discrete nodes. This setting introduces both uncertain demand and constrained sequential decisions. We propose MARA, which predicts future loss trajectories with conditional flow matching and coordinates compute nodes through a cooperative multi-agent autoregressive policy. A potential-based progress reward supplies intermediate training feedback while preserving the undiscounted task-completion objective. Across in-distribution, reinforcement-learning, and vision workloads, flow matching reduces remaining-resource prediction error relative to weighted least squares. At the scheduler's training load, MARA completes 63.46% of tasks on average, 8.54 percentage points above strong baseline Learning with Adaptive Resource Allocation (LARA), and remains ahead under unseen heavier workloads.