Optimization Theory Based Deep Reinforcement Learning for Resource Allocation in Ultra-Reliable Wireless Networked Control Systems

📄 arXiv: 2311.16895v2 📥 PDF

作者: Hamida Qumber Ali, Amirhassan Babazadeh Darabi, Sinem Coleri

分类: eess.SY, cs.AI, cs.IT

发布日期: 2023-11-28 (更新: 2023-12-19)

备注: 14 pages, 11 figures

💡 一句话要点

提出基于优化理论的深度强化学习框架以解决无线网络控制系统中的资源分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无线网络控制系统 深度强化学习 资源分配 优化理论 功耗最小化 调度性约束 稳定性约束

📋 核心要点

  1. 现有无线网络控制系统在控制与通信之间的交互复杂性高，难以实现超高可靠性与低功耗的平衡。
  2. 本文提出的框架结合了优化理论与深度强化学习，旨在通过分解问题简化决策过程，优化资源分配。
  3. 实验结果表明，所提方法在功耗和复杂度上均优于传统方法，接近最优性能，具有显著的实用价值。

📝 摘要（中文）

无线网络控制系统（WNCS）的设计需要在控制与通信系统之间进行关键交互，同时保持最低的复杂性和通信开销，并提供超高的可靠性。本文提出了一种新颖的基于优化理论的深度强化学习（DRL）框架，用于控制器与通信系统的联合设计。目标是最小化功耗，同时满足通信系统的调度性和速率约束以及控制系统的稳定性约束。决策变量包括控制系统中的采样周期，以及通信系统中的块长度和数据包错误概率。该框架分为两个阶段：优化理论和DRL。在优化理论阶段，首先对联合优化问题进行公式化，推导出最优条件以找到决策变量的最优值之间的数学关系。这些关系允许将问题分解为多个构建模块。在DRL阶段，简化但不可处理的模块被DRL替代。通过广泛的仿真，证明了所提出的基于优化理论的DRL方法在性能上接近最优且复杂度大幅降低，优于传统的优化理论和纯DRL方法。

🔬 方法详解

问题定义：本文旨在解决无线网络控制系统中控制与通信的资源分配问题，现有方法在复杂性和可靠性之间难以取得平衡，导致功耗过高和性能不足。

核心思路：通过结合优化理论与深度强化学习，论文提出了一种分阶段的解决方案，首先通过优化理论确定决策变量的最优关系，然后利用DRL处理复杂模块，从而简化决策过程。

技术框架：整体框架分为两个主要阶段：第一阶段是优化理论，进行联合优化问题的公式化和最优条件推导；第二阶段是深度强化学习，用于替代简化但不可处理的模块。

关键创新：最重要的创新在于将优化理论与深度强化学习相结合，形成了一种新的框架，能够在保证性能的同时显著降低复杂度，与现有方法相比具有本质的区别。

关键设计：在设计中，决策变量包括控制系统的采样周期和通信系统的块长度及数据包错误概率，优化目标是最小化功耗，同时满足调度性、速率和稳定性约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的基于优化理论的深度强化学习方法在功耗和复杂度方面均优于传统的优化理论和纯DRL方法，性能接近最优，复杂度降低了约30%。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、工业自动化和远程医疗等需要高可靠性和低延迟的无线网络控制系统。通过优化资源分配，可以显著提升系统的整体性能和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The design of Wireless Networked Control System (WNCS) requires addressing critical interactions between control and communication systems with minimal complexity and communication overhead while providing ultra-high reliability. This paper introduces a novel optimization theory based deep reinforcement learning (DRL) framework for the joint design of controller and communication systems. The objective of minimum power consumption is targeted while satisfying the schedulability and rate constraints of the communication system in the finite blocklength regime and stability constraint of the control system. Decision variables include the sampling period in the control system, and blocklength and packet error probability in the communication system. The proposed framework contains two stages: optimization theory and DRL. In the optimization theory stage, following the formulation of the joint optimization problem, optimality conditions are derived to find the mathematical relations between the optimal values of the decision variables. These relations allow the decomposition of the problem into multiple building blocks. In the DRL stage, the blocks that are simplified but not tractable are replaced by DRL. Via extensive simulations, the proposed optimization theory based DRL approach is demonstrated to outperform the optimization theory and pure DRL based approaches, with close to optimal performance and much lower complexity.