Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing

📄 arXiv: 2312.10418v2 📥 PDF

作者: Lyudong Jin, Ming Tang, Meng Zhang, Hao Wang

分类: cs.LG, cs.NI, eess.SP

发布日期: 2023-12-16 (更新: 2023-12-19)

💡 一句话要点

提出分数阶深度强化学习，解决移动边缘计算中时延敏感任务的AoI最小化问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动边缘计算 信息年龄 深度强化学习 分数阶优化 任务调度

📋 核心要点

  1. 现有方法难以应对MEC中不确定的边缘负载动态、分数形式的AoI目标以及混合动作空间带来的挑战。
  2. 提出分数强化学习框架，并设计无模型的深度分数强化学习算法，以优化任务调度策略。
  3. 实验结果表明，所提算法相比非分数基准，平均AoI降低高达57.6%，显著提升了系统性能。

📝 摘要（中文）

移动边缘计算(MEC)是具有密集计算需求的实时应用(如自动驾驶)的一种有前景的范例，因为它可以减少处理延迟。本文关注计算密集型更新的及时性，以信息年龄(AoI)衡量，并研究如何联合优化任务更新和卸载策略，以实现分数形式的AoI最小化。具体而言，我们考虑边缘负载动态，并制定任务调度问题，以最小化预期的时间平均AoI。不确定的边缘负载动态、分数目标函数的性质以及混合连续-离散动作空间(由于联合优化)使得这个问题具有挑战性，并且现有方法无法直接应用。为此，我们提出了一个分数强化学习(RL)框架，并证明了其收敛性。我们进一步设计了一种无模型的深度分数强化学习(DRL)算法，其中每个设备在不知道系统动态和其他设备决策的情况下，利用混合动作空间做出调度决策。实验结果表明，与几种非分数基准相比，我们提出的算法将平均AoI降低了高达57.6%。

🔬 方法详解

问题定义：论文旨在解决移动边缘计算环境中，如何最小化计算密集型任务更新的平均信息年龄(AoI)问题。现有方法在处理边缘负载动态变化、分数形式的AoI目标以及混合连续-离散动作空间时存在局限性，无法有效优化任务调度和卸载策略。

核心思路：论文的核心思路是利用分数强化学习(Fractional Reinforcement Learning, FRL)框架，将AoI最小化问题建模为马尔可夫决策过程(MDP)，并设计深度强化学习算法来求解。通过分数阶的设计，能够更有效地处理AoI这种具有时间累积特性的指标，从而优化任务调度策略。

技术框架：整体框架包含多个设备，每个设备根据当前边缘负载状态和自身任务信息，利用深度神经网络(DNN)学习最优的任务调度策略。该策略决定是否将任务卸载到边缘服务器进行计算，以及任务的更新频率。框架主要包含以下模块：环境建模（边缘负载动态）、智能体（设备上的DRL算法）、奖励函数（基于分数AoI）。

关键创新：论文的关键创新在于提出了分数深度强化学习(Fractional DRL)算法，该算法能够直接优化分数形式的AoI目标。传统RL算法通常难以处理分数形式的奖励函数，而该算法通过特定的设计，保证了算法的收敛性，并能有效降低平均AoI。

关键设计：算法采用Actor-Critic架构，Actor网络负责生成任务调度策略，Critic网络负责评估策略的价值。损失函数的设计基于分数AoI，并采用特定的优化技巧来保证算法的收敛性。网络结构方面，采用多层感知机(MLP)来处理状态信息，并输出混合动作空间（离散的任务选择和连续的卸载比例）。

📊 实验亮点

实验结果表明，所提出的分数深度强化学习算法在降低平均AoI方面表现出色。与非分数基准算法相比，该算法能够将平均AoI降低高达57.6%。此外，实验还验证了算法在不同边缘负载条件下的鲁棒性和适应性，证明了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于各种需要实时数据更新和低延迟计算的移动边缘计算场景，例如自动驾驶、增强现实、工业物联网等。通过优化任务调度和卸载策略，可以显著降低信息延迟，提高用户体验，并提升系统的整体性能。未来，该方法可以进一步扩展到更复杂的网络拓扑和异构计算环境中。

📄 摘要（原文）

Mobile edge computing (MEC) is a promising paradigm for real-time applications with intensive computational needs (e.g., autonomous driving), as it can reduce the processing delay. In this work, we focus on the timeliness of computational-intensive updates, measured by Age-ofInformation (AoI), and study how to jointly optimize the task updating and offloading policies for AoI with fractional form. Specifically, we consider edge load dynamics and formulate a task scheduling problem to minimize the expected time-average AoI. The uncertain edge load dynamics, the nature of the fractional objective, and hybrid continuous-discrete action space (due to the joint optimization) make this problem challenging and existing approaches not directly applicable. To this end, we propose a fractional reinforcement learning(RL) framework and prove its convergence. We further design a model-free fractional deep RL (DRL) algorithm, where each device makes scheduling decisions with the hybrid action space without knowing the system dynamics and decisions of other devices. Experimental results show that our proposed algorithms reduce the average AoI by up to 57.6% compared with several non-fractional benchmarks.