Safety-Enhanced Self-Learning for Optimal Power Converter Control

📄 arXiv: 2312.04158v1 📥 PDF

作者: Yihao Wan, Qianwen Xu, Tomislav Dragičević

分类: eess.SY

发布日期: 2023-12-07

💡 一句话要点

提出一种安全增强的自学习方法，用于优化电力变换器的控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 电力变换器控制 安全控制 在线自学习 数据驱动控制

📋 核心要点

  1. 传统基于模型的电力变换器控制对参数敏感，且难以处理未建模动态，限制了控制性能。
  2. 提出一种安全在线强化学习控制框架，在学习过程中保证系统安全，自主寻找最优开关策略。
  3. 在两电平电压源变换器测试平台上验证了所提方法的有效性，证明了其在实际应用中的可行性。

📝 摘要（中文）

随着机器学习范式的普及，诸如强化学习(RL)等数据驱动的学习控制方法变得越来越流行。这些方法解决了基于模型的控制器（如有限控制集模型预测控制）中存在的参数敏感性和未建模动态问题。强化学习智能体通常在仿真环境中进行训练，允许其在学习过程中探索多个“不安全”的动作。然而，这种学习方式不适用于物理电力变换器控制器的在线自学习，因为不安全的动作可能会损坏设备。为了解决这个问题，本文提出了一种安全的在线强化学习控制框架，能够在确保系统安全的前提下，自主地为电力变换器找到最优的开关策略。所提出的安全在线强化学习控制方法在一个两电平电压源变换器系统的实际测试平台上进行了验证，结果证实了该方法的有效性。

🔬 方法详解

问题定义：电力变换器控制面临参数敏感性和未建模动态的挑战，传统的基于模型的控制方法难以应对。强化学习虽然可以解决这些问题，但其探索性学习可能导致不安全动作，损坏物理设备，因此无法直接应用于在线自学习控制。

核心思路：核心在于设计一种安全的强化学习框架，允许智能体在探索最优控制策略的同时，避免执行可能导致系统损坏的不安全动作。通过安全约束和机制，保证学习过程中的系统稳定性。

技术框架：整体框架包含强化学习智能体、电力变换器系统和安全约束模块。智能体根据系统状态选择动作，电力变换器执行该动作并产生新的状态反馈给智能体。安全约束模块监测系统状态，一旦检测到潜在的不安全状态，则采取措施限制智能体的动作选择，确保系统安全。

关键创新：关键创新在于将安全约束集成到强化学习框架中，实现安全探索。传统强化学习侧重于最大化奖励，而该方法在最大化奖励的同时，也考虑了安全性约束，避免了不安全动作的发生。

关键设计：具体的技术细节包括：定义安全状态的指标，例如电压、电流的阈值；设计安全约束策略，例如限制动作空间、引入惩罚项等；选择合适的强化学习算法，例如深度Q网络(DQN)或策略梯度算法，并针对电力变换器的特点进行优化。

📊 实验亮点

该方法在两电平电压源变换器测试平台上进行了验证。实验结果表明，该方法能够在保证系统安全的前提下，自主学习到最优的开关策略，提高了控制性能。具体的性能数据（例如，电压/电流纹波降低百分比、动态响应速度提升等）需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种电力变换器控制场景，例如光伏逆变器、风力发电变流器、电机驱动器等。通过在线自学习，控制器可以适应不同的运行条件和系统参数变化，提高控制性能和鲁棒性。此外，该方法还可以降低对精确系统模型的依赖，简化控制器设计过程，具有重要的实际应用价值和推广前景。

📄 摘要（原文）

Data-driven learning-based control methods such as reinforcement learning (RL) have become increasingly popular with recent proliferation of the machine learning paradigm. These methods address the parameter sensitiveness and unmodeled dynamics in model-based controllers, such as finite control-set model predictive control. RL agents are typically utilized in simulation environments, where they are allowed to explore multiple "unsafe" actions during the learning process. However, this type of learning is not applicable to online self-learning of controllers in physical power converters, because unsafe actions would damage them. To address this, this letter proposes a safe online RL-based control framework to autonomously find the optimal switching strategy for the power converters, while ensuring system safety during the entire self-learning process. The proposed safe online RL-based control is validated in a practical testbed on a two-level voltage source converter system, and the results confirm the effectiveness of the proposed method.