Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling

📄 arXiv: 2403.16293v1 📥 PDF

作者: Boyang Li, Zhiling Lan, Michael E. Papka

分类: cs.LG, cs.AI, cs.DC

发布日期: 2024-03-24

DOI: 10.1109/MASCOTS59514.2023.10387651

💡 一句话要点

提出可解释的深度强化学习调度模型以解决可解释性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 集群调度 可解释性 决策树 模仿学习 高性能计算 数据集聚合

📋 核心要点

  1. 现有的深度神经网络（DNN）在集群调度中的应用缺乏可解释性，成为系统管理者的黑箱模型，限制了其实际部署。
  2. 本文提出的IRL框架通过模仿学习将DRL策略转换为决策树，利用决策树的可解释性来解决DNN的黑箱问题。
  3. 实验结果表明，IRL能够有效地将DNN策略转化为可解释的决策树，并在调度性能上与DNN相当，同时提升了奖励设置的有效性。

📝 摘要（中文）

在高性能计算领域，深度强化学习（DRL）在集群调度中展现出良好效果，但其缺乏可解释性使得系统管理者难以理解和应用。本文提出了一种名为IRL（可解释强化学习）的框架，通过模仿学习将DRL策略解释为决策树，从而提高可解释性。IRL结合了数据集聚合（DAgger）算法，并引入关键状态的概念来修剪决策树。实验结果表明，IRL能够将黑箱DNN策略转换为可解释的基于规则的决策树，同时保持相当的调度性能，并有助于奖励设置。

🔬 方法详解

问题定义：本文旨在解决深度强化学习调度中的可解释性问题。现有的DNN模型由于其复杂性，导致系统管理者无法理解其决策过程，限制了实际应用。

核心思路：IRL框架的核心思想是通过模仿学习将深度强化学习策略转化为决策树，利用决策树的非参数特性和可解释性来克服DNN的黑箱特性。

技术框架：IRL的整体架构包括数据集聚合（DAgger）算法和关键状态的引入。首先，通过DAgger算法收集数据，然后利用关键状态来修剪生成的决策树，以提高其效率和可解释性。

关键创新：IRL的主要创新在于将DNN策略转化为可解释的决策树模型，这一方法与传统的黑箱DNN模型形成鲜明对比，极大地提升了模型的可解释性。

关键设计：在IRL中，关键参数包括决策树的深度和修剪策略，损失函数设计为最小化决策树与DNN策略之间的差异，同时确保决策树的可解释性和简洁性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IRL能够将黑箱DNN策略成功转化为可解释的决策树，同时在调度性能上与基线DNN模型相当，具体性能数据表明，IRL在调度效率和可解释性方面均有显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括高性能计算中的资源调度、云计算环境中的任务分配等。通过提高调度模型的可解释性，系统管理者能够更好地理解和优化调度策略，从而提升系统的整体性能和效率。未来，该方法可能在其他需要可解释性的机器学习应用中得到推广。

📄 摘要（原文）

In the field of high-performance computing (HPC), there has been recent exploration into the use of deep reinforcement learning for cluster scheduling (DRL scheduling), which has demonstrated promising outcomes. However, a significant challenge arises from the lack of interpretability in deep neural networks (DNN), rendering them as black-box models to system managers. This lack of model interpretability hinders the practical deployment of DRL scheduling. In this work, we present a framework called IRL (Interpretable Reinforcement Learning) to address the issue of interpretability of DRL scheduling. The core idea is to interpret DNN (i.e., the DRL policy) as a decision tree by utilizing imitation learning. Unlike DNN, decision tree models are non-parametric and easily comprehensible to humans. To extract an effective and efficient decision tree, IRL incorporates the Dataset Aggregation (DAgger) algorithm and introduces the notion of critical state to prune the derived decision tree. Through trace-based experiments, we demonstrate that IRL is capable of converting a black-box DNN policy into an interpretable rulebased decision tree while maintaining comparable scheduling performance. Additionally, IRL can contribute to the setting of rewards in DRL scheduling.