An MRL-Based Design Solution for RIS-Assisted MU-MIMO Wireless System under Time-Varying Channels

📄 arXiv: 2311.08840v1 📥 PDF

作者: Meng-Qian Alexander Wu, Tzu-Hsien Sang, Luisa Schuhmacher, Ming-Jie Guo, Khodr Hammoud, Sofie Pollin

分类: eess.SY

发布日期: 2023-11-15

备注: To be published in proceedings of the 2023 IEEE Conference on Global Communications (GLOBECOM)

DOI: 10.1109/GLOBECOM54140.2023.10437655

💡 一句话要点

提出基于MRL的设计方案以解决RIS辅助MU-MIMO无线系统问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 可重构智能表面 无线通信 时变信道 深度强化学习 多用户MIMO 波束形成 相位偏移

📋 核心要点

  1. 现有的DRL方法在处理时变信道时存在局限性，无法有效应对CSI不充分的问题。
  2. 本文提出利用元强化学习（MRL）来优化基站的波束形成和RIS的相位偏移，解决时变环境下的联合优化问题。
  3. 实验结果表明，所提方法在时变CSI假设下的总速率提升超过60%，显著优于现有方法。

📝 摘要（中文）

利用深度强化学习（DRL）进行可重构智能表面（RIS）辅助无线通信的研究已广泛开展。然而，现有的DRL方法要么仅作为简单的优化器，要么仅解决在训练数据集中并发的信道状态信息（CSI）问题。因此，在时变环境下的RIS辅助无线通信系统解决方案相对较少。本文应用元强化学习（MRL）解决基站（BS）主动波束形成与RIS相位偏移的联合优化问题，MRL的优势在于能够将DRL的单个马尔可夫决策过程（MDP）扩展到多个MDP。我们通过仿真结果比较了所提方法与文献中选定前驱方法的平均总速率，在时变CSI假设下，我们的方法提高了总速率超过60%，同时保持了典型DRL解决方案的优势。研究结果强调了在考虑现实环境假设下，利用基于MRL的设计在RIS辅助无线通信系统中的可能性。

🔬 方法详解

问题定义：本文旨在解决RIS辅助MU-MIMO无线系统在时变信道环境下的优化问题。现有的DRL方法往往只能处理静态或已知的CSI，缺乏对时变环境的适应能力。

核心思路：通过引入元强化学习（MRL），本文将DRL的应用扩展到多个MDP，允许在不同的信道条件下进行有效的策略学习，从而提高系统的鲁棒性和性能。

技术框架：整体框架包括两个主要模块：基站的主动波束形成和RIS的相位偏移优化。首先，通过MRL训练模型，获取在不同CSI条件下的优化策略；然后，利用该策略在实际时变信道中进行实时调整。

关键创新：最重要的创新在于将MRL应用于RIS辅助无线通信系统，突破了传统DRL方法在时变信道下的局限性，实现了对多种信道条件的适应。

关键设计：在模型训练过程中，采用了特定的损失函数以平衡不同信道条件下的性能，同时设计了适应性强的网络结构，以便于在动态环境中快速收敛。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提MRL方法在时变CSI假设下的总速率提升超过60%，相比于文献中的前驱方法，展现了显著的性能优势。这一结果强调了MRL在复杂无线通信环境中的有效性和应用潜力。

🎯 应用场景

该研究的潜在应用领域包括5G及未来的无线通信系统，尤其是在需要高效信号传输和动态环境适应的场景中，如智能交通、物联网和智能城市等。通过提高RIS辅助系统的性能，可以显著提升用户体验和网络效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Utilizing Deep Reinforcement Learning (DRL) for Reconfigurable Intelligent Surface (RIS) assisted wireless communication has been extensively researched. However, existing DRL methods either act as a simple optimizer or only solve problems with concurrent Channel State Information (CSI) represented in the training data set. Consequently, solutions for RIS-assisted wireless communication systems under time-varying environments are relatively unexplored. However, communication problems should be considered with realistic assumptions; for instance, in scenarios where the channel is time-varying, the policy obtained by reinforcement learning should be applicable for situations where CSI is not well represented in the training data set. In this paper, we apply Meta-Reinforcement Learning (MRL) to the joint optimization problem of active beamforming at the Base Station (BS) and phase shift at the RIS, motivated by MRL's ability to extend the DRL concept of solving one Markov Decision Problem (MDP) to multiple MDPs. We provide simulation results to compare the average sum rate of the proposed approach with those of selected forerunners in the literature. Our approach improves the sum rate by more than 60% under time-varying CSI assumption while maintaining the advantages of typical DRL-based solutions. Our study's results emphasize the possibility of utilizing MRL-based designs in RIS-assisted wireless communication systems while considering realistic environment assumptions.