Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems

📄 arXiv: 2404.08950v1 📥 PDF

作者: Francesco G. Blanco, Enrico Russo, Maurizio Palesi, Davide Patti, Giuseppe Ascia, Vincenzo Catania

分类: cs.AR, cs.DC, cs.LG

发布日期: 2024-04-13

💡 一句话要点

提出RELMAS以解决深度神经网络多租户调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 多租户调度 异构加速器 服务水平协议 能耗优化

📋 核心要点

  1. 现有方法在多租户环境中调度DNN时，难以平衡执行时间和成本效益，导致SLA满意度低。
  2. RELMAS通过深度强化学习算法，动态调整调度策略，优化多加速器系统中DNN的执行效率。
  3. 实验结果表明，RELMAS在不同工作负载场景下，SLA满意度提升173%，且能耗开销控制在1.5%以内。

📝 摘要（中文）

目前，越来越多的深度神经网络（DNN）执行任务被外包到云服务中。对于服务提供商而言，管理多租户环境并确保高质量服务交付，尤其是在满足严格的执行时间限制方面，至关重要，同时还需保持成本效益。在此背景下，异构多加速器系统的利用变得愈加重要。本文提出了一种低开销的深度强化学习算法RELMAS，旨在针对多租户环境中的DNN在线调度，考虑加速器的数据流异构性和内存带宽竞争。通过这一方法，服务提供商能够采用最有效的调度策略来优化服务水平协议（SLA）满意度和硬件利用率。将RELMAS应用于由多种Simba和Eyeriss子加速器组成的异构多加速器系统，SLA满意度提升率高达173%，且能耗开销低于1.5%。

🔬 方法详解

问题定义：本文旨在解决在多租户环境中调度深度神经网络（DNN）时面临的执行时间和成本效益的平衡问题。现有方法往往无法有效管理异构加速器的资源，导致服务水平协议（SLA）满意度低下。

核心思路：RELMAS采用深度强化学习算法，实时调整调度策略，以适应不同的工作负载和加速器特性。通过考虑数据流异构性和内存带宽竞争，RELMAS能够优化资源分配，提高DNN的执行效率。

技术框架：RELMAS的整体架构包括数据采集模块、强化学习决策模块和调度执行模块。数据采集模块负责实时监测系统状态，强化学习决策模块基于当前状态生成调度策略，调度执行模块则负责将策略应用于实际任务调度中。

关键创新：RELMAS的主要创新在于其低开销的在线调度能力，能够在动态变化的多租户环境中实时优化调度策略。这一方法与传统静态调度策略相比，具有更高的灵活性和适应性。

关键设计：RELMAS在设计上采用了深度Q学习算法，结合了多种状态特征，包括加速器的负载情况、内存带宽使用率等。损失函数的设计旨在最大化SLA满意度，同时控制能耗开销，确保调度策略的高效性。

📊 实验亮点

RELMAS在异构多加速器系统中的实验结果显示，与现有调度技术相比，SLA满意度提升高达173%，且能耗开销控制在1.5%以内，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括云计算服务提供商、边缘计算平台以及需要高效资源调度的深度学习任务。RELMAS能够显著提升多租户环境下的服务质量，降低能耗，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Currently, there is a growing trend of outsourcing the execution of DNNs to cloud services. For service providers, managing multi-tenancy and ensuring high-quality service delivery, particularly in meeting stringent execution time constraints, assumes paramount importance, all while endeavoring to maintain cost-effectiveness. In this context, the utilization of heterogeneous multi-accelerator systems becomes increasingly relevant. This paper presents RELMAS, a low-overhead deep reinforcement learning algorithm designed for the online scheduling of DNNs in multi-tenant environments, taking into account the dataflow heterogeneity of accelerators and memory bandwidths contentions. By doing so, service providers can employ the most efficient scheduling policy for user requests, optimizing Service-Level-Agreement (SLA) satisfaction rates and enhancing hardware utilization. The application of RELMAS to a heterogeneous multi-accelerator system composed of various instances of Simba and Eyeriss sub-accelerators resulted in up to a 173% improvement in SLA satisfaction rate compared to state-of-the-art scheduling techniques across different workload scenarios, with less than a 1.5% energy overhead.