Structured Reinforcement Learning for Media Streaming at the Wireless Edge

📄 arXiv: 2404.07315v2 📥 PDF

作者: Archana Bura, Sarat Chandra Bobbili, Shreyas Rameshkumar, Desik Rengarajan, Dileep Kalathil, Srinivas Shakkottai

分类: eess.SY, cs.AI, cs.LG

发布日期: 2024-04-10 (更新: 2024-04-16)

备注: 15 pages, 14 figures

💡 一句话要点

提出结构化强化学习以优化无线边缘媒体流传输

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无线边缘计算 媒体流传输 强化学习 约束马尔可夫决策 用户体验优化 动态优先级决策 自然策略梯度 智能控制

📋 核心要点

  1. 现有方法在动态优化视频流传输客户端优先级时缺乏有效的学习策略，导致用户体验不佳。
  2. 本文提出了一种基于约束马尔可夫决策过程的结构化强化学习方法，通过拉格朗日松弛实现单客户端问题的分解。
  3. 实验结果显示，使用该方法在YouTube流媒体测试中，用户体验质量提升超过30%，且计算复杂度低，执行时间仅为15μs。

📝 摘要（中文）

媒体流传输是无线边缘网络中的主要应用。随着网络软硬件的智能化，动态优化用户体验的需求日益增加。本文旨在开发基于学习的策略，以优化视频流传输中的客户端优先级决策。我们将策略设计问题建模为约束马尔可夫决策过程（CMDP），并通过拉格朗日松弛将其分解为单客户端问题。最终，优化策略以视频缓冲长度的阈值形式呈现，使得我们能够设计出高效的约束强化学习（CRL）算法。实验结果表明，该方法在资源受限的环境中能够将用户体验质量（QOE）提升超过30%。

🔬 方法详解

问题定义：本文解决的是在无线边缘网络中，如何动态优化视频流传输的客户端优先级决策问题。现有方法在此过程中缺乏有效的学习策略，导致用户体验下降。

核心思路：我们将策略设计问题建模为约束马尔可夫决策过程（CMDP），并通过拉格朗日松弛将其分解为多个单客户端问题，从而简化学习过程。最终的优化策略以视频缓冲长度的阈值形式呈现，使得学习过程更为高效。

技术框架：整体框架包括问题建模、策略学习和策略执行三个主要模块。首先，我们通过CMDP建模决策问题；其次，利用自然策略梯度（NPG）算法进行策略学习；最后，将学习到的策略应用于实际的WiFi接入点进行评估。

关键创新：本文的主要创新在于将CMDP问题通过拉格朗日松弛进行分解，使得复杂的多客户端决策问题转化为简单的单客户端问题，从而实现快速学习和低计算复杂度。

关键设计：在算法设计中，我们采用自然策略梯度方法，并设置了适当的损失函数以确保策略的收敛性。此外，算法的计算复杂度经过优化，使得策略执行时间仅为15μs，适合实时应用。

📊 实验亮点

实验结果表明，采用结构化强化学习方法后，YouTube流媒体的用户体验质量（QOE）提升超过30%。在资源受限的环境中，该方法的计算复杂度低，策略执行时间仅为15μs，显示出良好的实时性和有效性。

🎯 应用场景

该研究的潜在应用领域包括无线网络中的视频流传输、智能家居系统以及移动设备中的媒体服务。通过优化客户端优先级决策，能够显著提升用户体验，尤其是在网络资源有限的情况下。未来，该方法还可扩展至其他实时应用场景，如在线游戏和虚拟现实等，具有广泛的实际价值。

📄 摘要（原文）

Media streaming is the dominant application over wireless edge (access) networks. The increasing softwarization of such networks has led to efforts at intelligent control, wherein application-specific actions may be dynamically taken to enhance the user experience. The goal of this work is to develop and demonstrate learning-based policies for optimal decision making to determine which clients to dynamically prioritize in a video streaming setting. We formulate the policy design question as a constrained Markov decision problem (CMDP), and observe that by using a Lagrangian relaxation we can decompose it into single-client problems. Further, the optimal policy takes a threshold form in the video buffer length, which enables us to design an efficient constrained reinforcement learning (CRL) algorithm to learn it. Specifically, we show that a natural policy gradient (NPG) based algorithm that is derived using the structure of our problem converges to the globally optimal policy. We then develop a simulation environment for training, and a real-world intelligent controller attached to a WiFi access point for evaluation. We empirically show that the structured learning approach enables fast learning. Furthermore, such a structured policy can be easily deployed due to low computational complexity, leading to policy execution taking only about 15$μ$s. Using YouTube streaming experiments in a resource constrained scenario, we demonstrate that the CRL approach can increase quality of experience (QOE) by over 30\%.