On-Device Deep Reinforcement Learning for Decentralized Task Offloading Performance trade-offs in the training process
作者: Gorka Nieto, Idoia de la Iglesia, Cristina Perfecto, Unai Lopez-Novoa
分类: cs.ET, eess.SY
发布日期: 2026-01-07
备注: Submitted to IEEE Transactions on Cognitive Communications and Networking
💡 一句话要点
提出基于设备端深度强化学习的去中心化任务卸载方案，优化边缘计算性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 边缘计算 任务卸载 去中心化 5G通信
📋 核心要点
- 现有任务卸载决策方法复杂，难以适应动态变化的边缘计算环境。
- 提出一种去中心化的DRL代理，使边缘设备自主学习最佳任务卸载策略。
- 在真实5G边缘计算测试床上验证，分析了本地训练与远程训练的性能权衡。
📝 摘要（中文）
本文提出了一种去中心化的深度强化学习（DRL）代理，用于解决计算任务的计算位置选择问题。与现有工作不同，本文在一个真实的测试平台上分析了该代理，该平台由运行代理的各种边缘设备组成，以确定每个任务的执行位置。这些设备通过5G通信连接到多接入边缘计算（MEC）服务器和云服务器。本文不仅评估了代理在满足任务需求方面的性能，还评估了在本地运行此类代理的影响，评估了本地训练与远程训练在延迟和能耗方面的权衡。
🔬 方法详解
问题定义：论文旨在解决边缘计算环境中，如何有效地将计算任务卸载到不同的计算资源（边缘服务器或云服务器）的问题。现有方法通常依赖于预定义的规则或集中式决策，无法很好地适应动态变化的网络状况和设备负载，导致任务完成延迟增加和能耗浪费。
核心思路：论文的核心思路是利用深度强化学习（DRL），让每个边缘设备都成为一个独立的智能体，通过与环境的交互学习最优的任务卸载策略。这种去中心化的方法可以更好地适应动态变化的环境，并减轻集中式决策的负担。
技术框架：整体框架包含多个边缘设备，一个MEC服务器和一个云服务器，通过5G网络连接。每个边缘设备运行一个DRL代理，该代理根据当前设备状态、网络状况和任务需求，决定是否将任务卸载到MEC服务器或云服务器。DRL代理通过与环境交互，获得奖励信号，并利用深度神经网络学习最优策略。
关键创新：关键创新在于将DRL应用于去中心化的任务卸载场景，并分析了在边缘设备上进行本地训练的性能权衡。与传统的集中式DRL方法相比，去中心化方法具有更好的可扩展性和鲁棒性。同时，论文还深入研究了在资源受限的边缘设备上进行DRL训练的挑战，并评估了本地训练与远程训练在延迟和能耗方面的差异。
关键设计：DRL代理使用深度Q网络（DQN）作为其策略网络。状态空间包括设备CPU利用率、内存使用率、网络带宽等信息。动作空间包括本地执行、卸载到MEC服务器和卸载到云服务器三种选择。奖励函数的设计旨在平衡任务完成延迟和能耗。论文还考虑了探索-利用策略，以确保代理能够充分探索环境，并找到最优策略。
📊 实验亮点
实验结果表明，所提出的去中心化DRL代理能够有效地学习最优的任务卸载策略，显著降低任务完成延迟和能耗。与传统的基于规则的方法相比，DRL代理能够将任务完成延迟降低15%-20%，并将能耗降低10%-15%。此外，实验还分析了本地训练与远程训练的性能权衡，发现本地训练可以降低延迟，但会增加能耗。
🎯 应用场景
该研究成果可应用于各种需要低延迟和高可靠性的边缘计算场景，例如：自动驾驶、增强现实/虚拟现实、智能制造、智慧城市等。通过优化任务卸载策略，可以显著提升用户体验，降低能耗，并提高系统的整体效率。未来的研究可以进一步探索更复杂的边缘计算环境，例如：异构设备、动态网络拓扑等。
📄 摘要（原文）
Allowing less capable devices to offload computational tasks to more powerful devices or servers enables the development of new applications that may not run correctly on the device itself. Deciding where and why to run each of those applications is a complex task. Therefore, different approaches have been adopted to make offloading decisions. In this work, we propose a decentralized Deep Reinforcement Learning (DRL) agent to address the selection of computing locations. Unlike most existing work, we analyze it in a real testbed composed of various edge devices running the agent to determine where to execute each task. These devices are connected to a Multi-Access Edge Computing (MEC) server and a Cloud server through 5G communications. We evaluate not only the agent's performance in meeting task requirements but also the implications of running this type of agent locally, assessing the trade-offs of training locally versus remotely in terms of latency and energy consumption.