DRL-Based Phase Optimization for O-RIS in Dual-Hop Hard-Switching FSO/RIS-aided RF and UWOC Systems

📄 arXiv: 2604.04531 📥 PDF

作者: Aboozar Heydaribeni, Hamzeh Beyranvand, Sahar Eslami

分类: eess.SY

发布日期: 2026-04-07

💡 一句话要点

提出基于DRL的O-RIS相位优化方法，提升双跳FSO/RIS-RF和UWOC混合系统性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 水下无线光通信 光可重构智能表面 深度强化学习 相位优化 双跳混合系统

📋 核心要点

  1. 现有水下无线光通信（UWOC）受限于水下环境复杂性，传统方法难以有效优化O-RIS相位。
  2. 利用深度强化学习（DRL）算法，特别是DDPG和TD3，动态优化O-RIS的相移，以适应复杂水下环境。
  3. 仿真结果表明，该系统显著降低了中断概率，提升了信道容量，TD3算法表现出更强的鲁棒性。

📝 摘要（中文）

本文提出了一种双跳混合框架，该框架集成了自由空间光（FSO）/RIS辅助的射频（RF）链路（采用硬切换协议作为第一跳）和光可重构智能表面（O-RIS）辅助的水下无线光通信（UWOC）链路作为第二跳。为了捕捉真实的水下动态，采用了海洋湍流光学功率谱（OTOPS）进行精确的湍流建模。为了实现高效的O-RIS相位控制，开发了深度强化学习（DRL）算法，特别是深度确定性策略梯度（DDPG）和双延迟DDPG（TD3），以优化O-RIS元素的相移。仿真结果表明，所提出的系统显著提高了中断概率和信道容量，其中TD3实现了卓越的鲁棒性和适应性。这些发现强调了DRL赋能的O-RIS作为实现可靠和高容量6G跨域UWOC网络的一种有前景的方法。

🔬 方法详解

问题定义：论文旨在解决双跳混合FSO/RIS-RF和UWOC系统中，如何有效优化光可重构智能表面（O-RIS）的相位，以提升水下无线光通信（UWOC）的性能。现有方法，如穷举搜索或传统的优化算法，在面对复杂的水下环境和大量的O-RIS元件时，计算复杂度高，难以实现实时优化，并且难以适应动态变化的水下环境。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，将O-RIS的相位优化问题建模为一个马尔可夫决策过程（MDP），通过智能体与环境的交互，学习最优的相位控制策略。DRL算法能够自适应地调整O-RIS的相位，以最大化信道容量或最小化中断概率，从而提高UWOC系统的性能。选择DRL是因为其能够处理高维状态空间和动作空间，并且能够学习非线性策略，适应复杂的水下环境。

技术框架：该系统包含两个主要部分：第一跳是FSO/RIS-RF链路，第二跳是O-RIS辅助的UWOC链路。整体流程如下：1. 发送端通过FSO或RIS-RF链路将信号传输到中继节点。2. 中继节点接收信号后，通过O-RIS辅助的UWOC链路将信号传输到接收端。3. DRL智能体根据当前信道状态（例如，湍流强度、信道增益等）选择O-RIS的相位配置。4. UWOC链路根据O-RIS的相位配置进行信号传输。5. 接收端接收信号，并计算奖励（例如，信道容量、中断概率等）。6. DRL智能体根据奖励更新策略，并重复步骤3-5，直到学习到最优的相位控制策略。

关键创新：论文的关键创新在于将深度强化学习（DRL）应用于O-RIS的相位优化，并针对水下无线光通信（UWOC）的特点，设计了合适的奖励函数和状态空间。与传统方法相比，DRL方法能够自适应地调整O-RIS的相位，以适应复杂的水下环境，并且能够学习非线性策略，从而提高UWOC系统的性能。此外，论文还比较了DDPG和TD3两种DRL算法在O-RIS相位优化中的性能，发现TD3算法具有更强的鲁棒性和适应性。

关键设计：论文中，状态空间包括信道增益、湍流强度等信道信息；动作空间是O-RIS每个元件的相移值；奖励函数可以是信道容量或中断概率的负值。DDPG和TD3算法的网络结构通常包括Actor网络和Critic网络。Actor网络用于生成O-RIS的相位配置，Critic网络用于评估当前相位配置的价值。损失函数通常采用均方误差损失函数。关键参数包括学习率、折扣因子、探索噪声等。具体参数设置需要根据实际场景进行调整。

📊 实验亮点

仿真结果表明，所提出的基于DRL的O-RIS相位优化方法能够显著提高UWOC系统的性能。与没有O-RIS的系统相比，该系统能够显著降低中断概率，提升信道容量。TD3算法在不同湍流强度下均表现出更强的鲁棒性和适应性，性能优于DDPG算法。具体性能提升幅度取决于信道条件和O-RIS的元件数量。

🎯 应用场景

该研究成果可应用于水下传感器网络、水下机器人通信、水下环境监测等领域。通过优化O-RIS相位，可以提高水下无线光通信的可靠性和传输速率，从而实现更高效的水下数据传输和信息交互。未来，该技术有望推动6G跨域水下无线通信网络的发展。

📄 摘要（原文）

This paper presents a dual-hop hybrid framework that integrates a free-space optical (FSO)/RIS-aided radio frequency (RF) link operating under a hard-switching protocol as the first hop, and an optical reconfigurable intelligent surface (O-RIS)-assisted underwater wireless optical communication (UWOC) link as the second hop. To capture realistic underwater dynamics, the Oceanic Turbulence Optical Power Spectrum (OTOPS) is employed for accurate turbulence modeling. For efficient O-RIS phase control, deep reinforcement learning (DRL) algorithms, specifically the Deep Deterministic Policy Gradient (DDPG) and Twin Delayed DDPG (TD3), have been developed to optimize the phase shifts of O-RIS elements. Simulation results demonstrate that the proposed system substantially improves outage probability and channel capacity, with TD3 achieving superior robustness and adaptability. These findings highlight the DRL-enabled O-RIS as a promising approach for achieving reliable and high-capacity 6G cross-domain UWOC networks.