Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves
作者: Soumyendu Sarkar, Vineet Gundecha, Sahand Ghorbanpour, Alexander Shmakov, Ashwin Ramesh Babu, Avisek Naug, Alexandre Pichard, Mathieu Cocho
分类: cs.AI, cs.LG, eess.SY
发布日期: 2024-04-17
备注: IJCAI 2023, Proceedings of the Thirty-Second International Joint Conference on Artificial IntelligenceAugust 2023
期刊: IJCAI 2023, Proceedings of the Thirty-Second International Joint Conference on Artificial IntelligenceAugust 2023, Article No 688, Pages 6201 to 6209
💡 一句话要点
提出基于变换器的MARL控制器以提高波浪能量捕获效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 波浪能量转换器 多智能体强化学习 近端策略优化 变换器模型 能量捕获效率 结构应力 海洋能源 机器学习
📋 核心要点
- 现有的波浪能量转换器控制方法在应对多方向波浪时，难以平衡能量捕获效率与结构安全性。
- 本文提出了一种基于多智能体强化学习（MARL）和近端策略优化（PPO）算法的控制器，利用变换器模型优化策略和评论网络。
- 实验结果显示，所提变换器模型在能量效率上较现有的弹簧阻尼器控制器提升了22.1%，并显著降低了机械应力。
📝 摘要（中文）
工业多发电机波浪能量转换器（WEC）必须处理来自不同方向的多重波浪，这些复杂设备在挑战性环境中需要具备多重目标的控制器，包括能量捕获效率、结构应力降低和高波浪的主动保护。本文探讨了不同的函数逼近方法在策略和评论网络中的应用，发现这些方法对系统动态建模的性能至关重要。我们研究了全连接神经网络（FCN）、长短期记忆网络（LSTM）和变换器模型的变体，结果表明，具有门控残差连接的中等深度变换器模型（STrXL）在复杂的扩展波浪条件下，能将能量效率提升平均22.1%，并几乎消除了与角度波浪相关的机械应力。
🔬 方法详解
问题定义：本文旨在解决工业多发电机波浪能量转换器在面对多方向波浪时的控制挑战，现有方法在能量捕获和结构安全性之间难以取得良好平衡。
核心思路：通过引入多智能体强化学习（MARL）和近端策略优化（PPO）算法，探索不同的函数逼近方法，以优化控制器的性能，尤其是在复杂波浪条件下。
技术框架：整体架构包括策略网络和评论网络，分别用于决策和评估。我们比较了全连接神经网络、LSTM和变换器模型，重点研究了模型深度和门控残差连接的影响。
关键创新：提出的中等深度变换器模型（STrXL）结合了门控残差连接，显著提升了在复杂波浪环境下的能量捕获效率，与传统的弹簧阻尼器控制器相比，表现出更优的性能。
关键设计：在模型设计中，采用了多头注意力机制和多层感知器结构，优化了网络的深度和连接方式，以提高模型的学习能力和适应性。损失函数的设计也针对多目标优化进行了调整。
📊 实验亮点
实验结果表明，所提出的变换器控制器在处理复杂扩展波浪时，能量效率平均提升22.1%，几乎消除了与角度波浪相关的机械应力，显示出优于传统弹簧阻尼器控制器的显著优势。
🎯 应用场景
该研究的成果可广泛应用于海洋能源领域，尤其是在波浪能量转换器的控制系统中。通过提高能量捕获效率和降低结构应力，能够显著提升设备的经济性和可靠性，推动可再生能源的应用与发展。
📄 摘要（原文）
The industrial multi-generator Wave Energy Converters (WEC) must handle multiple simultaneous waves coming from different directions called spread waves. These complex devices in challenging circumstances need controllers with multiple objectives of energy capture efficiency, reduction of structural stress to limit maintenance, and proactive protection against high waves. The Multi-Agent Reinforcement Learning (MARL) controller trained with the Proximal Policy Optimization (PPO) algorithm can handle these complexities. In this paper, we explore different function approximations for the policy and critic networks in modeling the sequential nature of the system dynamics and find that they are key to better performance. We investigated the performance of a fully connected neural network (FCN), LSTM, and Transformer model variants with varying depths and gated residual connections. Our results show that the transformer model of moderate depth with gated residual connections around the multi-head attention, multi-layer perceptron, and the transformer block (STrXL) proposed in this paper is optimal and boosts energy efficiency by an average of 22.1% for these complex spread waves over the existing spring damper (SD) controller. Furthermore, unlike the default SD controller, the transformer controller almost eliminated the mechanical stress from the rotational yaw motion for angled waves. Demo: https://tinyurl.com/yueda3jh