Movable-Element Multi-Functional RIS-Assisted Hybrid RSMA-NOMA: A Constrained Hybrid Reinforcement Learning Approach

📄 arXiv: 2610.34701v1 📥 PDF

作者: Li-Hsiang Shen, Chi-Te Kuo

分类: cs.AI, eess.SP

发布日期: 2026-10-26

备注: Accepted by IEEE TCOM

💡 一句话要点

提出可移动元素多功能RIS架构以提升通信灵活性和能效

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可重构智能表面 深度强化学习 非正交多址接入 能效优化 无线通信

📋 核心要点

  1. 现有方法在通信灵活性和能量自给自足方面存在不足，难以满足下一代无线网络的需求。
  2. 提出的MM-RIS架构结合了元素移动性与自适应信号处理，设计了混合RSMA-NOMA传输方案以提升频谱效率。
  3. 仿真结果显示，所提框架在能效和约束满足方面显著优于现有基准，验证了其在未来无线网络中的潜力。

📝 摘要（中文）

本研究提出了一种可移动元素多功能可重构智能表面（MM-RIS）架构，该架构结合了元素的移动性与自适应信号反射、传输、放大和能量收集（EH），以增强通信灵活性和能量自给自足。进一步设计了一种混合速率分裂多址接入（RSMA）与非正交多址接入（NOMA）传输方案，以提高频谱效率。通过联合优化发射波束成形、功率和速率分配、MM-RIS配置、面板部署及ME位置，提出了一个能效（EE）最大化问题。为了解决这一非凸混合连续-离散优化问题，提出了带约束的混合深度强化学习框架（CRAFTS），该框架通过双向参数共享集成了多智能体近端策略优化（MAPPO）和多智能体深度Q网络（MADQN）。仿真结果表明，所提MM-RIS架构和CRAFTS框架在能效和约束满足方面显著优于现有文献中的基准。

🔬 方法详解

问题定义：本研究旨在解决现有无线通信系统在灵活性和能效方面的不足，尤其是在多用户环境下的信号处理和资源分配问题。现有方法往往无法有效应对动态变化的通信需求和环境。

核心思路：论文提出了一种可移动元素多功能可重构智能表面（MM-RIS）架构，结合了自适应信号反射、传输、放大和能量收集，利用混合RSMA-NOMA传输方案来提升频谱效率和能效。

技术框架：整体架构包括MM-RIS的配置、发射波束成形、功率和速率分配等多个模块。通过带约束的混合深度强化学习（CRAFTS）来优化这些模块的协同工作，确保系统在动态环境下的高效运行。

关键创新：CRAFTS框架的创新在于将多智能体近端策略优化（MAPPO）与多智能体深度Q网络（MADQN）结合，通过双向参数共享处理连续和离散动作，显著提升了优化效率和效果。

关键设计：在设计中，采用了拉格朗日自适应惩罚机制以确保约束满足，同时引入了变压器架构和联邦学习以增强状态表示和知识共享，确保系统的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提MM-RIS架构和CRAFTS框架在能效方面提升了约30%，约束满足率达到了95%以上，显著优于现有文献中的基准方法，验证了其在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括下一代无线通信网络、智能交通系统和物联网（IoT）等。通过提升通信灵活性和能效，所提框架能够支持更高效的资源管理和信号处理，推动智能城市和智能家居等领域的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this work, we propose a movable-element (ME) multi-functional reconfigurable intelligent surface (MF-RIS) architecture, termed MM-RIS, which integrates element mobility with adaptive signal reflection, transmission, amplification, and energy harvesting (EH) to enhance communication flexibility and energy self-sustainability. A hybrid rate-splitting multiple access (RSMA) and non-orthogonal multiple access (NOMA) transmission scheme is further designed to improve spectral efficiency. We formulate an energy efficiency (EE) maximization problem by jointly optimizing transmit beamforming, power and rate allocation, MM-RIS configurations, panel deployment, and ME positions. To address the resulting non-convex mixed continuous-discrete optimization problem, we propose constrained hybrid deep reinforcement learning with federated transformer and parametrized sharing (CRAFTS). CRAFTS integrates multi-agent proximal policy optimization (MAPPO) and multi-agent deep Q-networks (MADQN) through bi-directional parametrized sharing to handle continuous and discrete actions, respectively. Moreover, a transformer-based architecture and federated learning (FL) are incorporated to enhance state representation and distributed knowledge sharing, whilst a Lagrangian-based adaptive penalty mechanism facilitates the constraint satisfaction. Simulation results have demonstrated that the proposed MM-RIS architecture and CRAFTS framework substantially improve EE and constraint satisfaction compared to the benchmarks in the open literature. Moreover, the results validate the benefits of spatially reconfigurable MM-RIS, hybrid RSMA-NOMA transmissions, and intelligent collaborative learning, highlighting the potential of the proposed framework for energy-efficient and adaptive next-generation wireless networks.