QECO: A QoE-Oriented Computation Offloading Algorithm based on Deep Reinforcement Learning for Mobile Edge Computing

📄 arXiv: 2311.02525v3 📥 PDF

作者: Iman Rahmaty, Hamed Shah-Mansouri, Ali Movaghar

分类: cs.NI, cs.DC, cs.LG, cs.PF

发布日期: 2023-11-04 (更新: 2025-09-25)

期刊: IEEE Trans. Netw. Sci. Eng., vol. 12, no. 4, pp. 3118-3130, 2025

DOI: 10.1109/TNSE.2025.3556809

💡 一句话要点

提出QECO算法以解决移动边缘计算中的QoE优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动边缘计算 计算任务卸载 深度强化学习 用户体验 马尔可夫决策过程 能量效率 任务延迟 分布式算法

📋 核心要点

  1. 现有方法在动态和不确定的移动环境中难以有效处理计算任务卸载，影响用户体验。
  2. 论文提出的QECO算法通过深度强化学习，使移动设备能够自主决策，优化计算任务的卸载过程。
  3. 实验结果显示，QECO在任务完成率、延迟和能量消耗上均有显著提升，提升用户QoE达37.1%。

📝 摘要（中文）

在移动边缘计算（MEC）领域，高效的计算任务卸载对确保用户的无缝体验（QoE）至关重要。本文研究了在严格的任务处理截止时间和能量约束下，如何通过将计算任务卸载问题建模为马尔可夫决策过程（MDP），以最大化每个用户的长期QoE。我们提出了一种基于深度强化学习（DRL）的分布式QoE导向计算卸载算法（QECO），使移动设备能够在不依赖其他设备决策信息的情况下自主做出卸载决策。数值研究表明，与现有方法相比，QECO在完成任务数量上提高了14.4%，同时任务延迟和能量消耗分别降低了9.2%和6.3%，最终实现了37.1%的QoE显著提升。

🔬 方法详解

问题定义：本文旨在解决移动边缘计算中计算任务卸载的效率问题，现有方法在动态环境下无法有效满足用户的QoE需求，导致任务延迟和能量消耗过高。

核心思路：通过将计算任务卸载问题建模为马尔可夫决策过程（MDP），利用深度强化学习（DRL）算法，使每个移动设备能够独立做出卸载决策，从而优化QoE。

技术框架：QECO算法的整体架构包括状态空间、动作空间和奖励机制，设备根据当前状态选择最佳卸载策略，系统通过反馈调整策略以提高长期QoE。

关键创新：QECO的主要创新在于其分布式决策机制，允许设备在不依赖其他设备信息的情况下进行智能卸载，显著提高了系统的灵活性和效率。

关键设计：在算法设计中，设置了合适的状态表示、动作选择策略和奖励函数，以确保算法能够准确反映用户动态和边缘服务器负载，从而优化卸载决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QECO算法在完成任务数量上提高了14.4%，任务延迟降低了9.2%，能量消耗减少了6.3%。这些改进共同导致了用户QoE的显著提升，达到37.1%，显示出该算法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能手机、物联网设备和边缘计算平台等，能够显著提升用户在移动环境中的体验。随着5G和边缘计算技术的发展，QECO算法的应用将有助于实现更高效的资源管理和服务质量保障，推动智能应用的普及与发展。

📄 摘要（原文）

In the realm of mobile edge computing (MEC), efficient computation task offloading plays a pivotal role in ensuring a seamless quality of experience (QoE) for users. Maintaining a high QoE is paramount in today's interconnected world, where users demand reliable services. This challenge stands as one of the most primary key factors contributing to handling dynamic and uncertain mobile environments. In this study, we delve into computation offloading in MEC systems, where strict task processing deadlines and energy constraints can adversely affect the system performance. We formulate the computation task offloading problem as a Markov decision process (MDP) to maximize the long-term QoE of each user individually. We propose a distributed QoE-oriented computation offloading (QECO) algorithm based on deep reinforcement learning (DRL) that empowers mobile devices to make their offloading decisions without requiring knowledge of decisions made by other devices. Through numerical studies, we evaluate the performance of QECO. Simulation results reveal that compared to the state-of-the-art existing works, QECO increases the number of completed tasks by up to 14.4%, while simultaneously reducing task delay and energy consumption by 9.2% and 6.3%, respectively. Together, these improvements result in a significant average QoE enhancement of 37.1%. This substantial improvement is achieved by accurately accounting for user dynamics and edge server workloads when making intelligent offloading decisions. This highlights QECO's effectiveness in enhancing users' experience in MEC systems.