Model Free Deep Deterministic Policy Gradient Controller for Setpoint Tracking of Non-minimum Phase Systems

📄 arXiv: 2402.17703v1 📥 PDF

作者: Fatemeh Tavakkoli, Pouria Sarhadi, Benoit Clement, Wasif Naeem

分类: eess.SY

发布日期: 2024-02-27

💡 一句话要点

提出无模型深度确定性策略梯度控制器以解决非最小相位系统的设定点跟踪问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 控制系统 非最小相位 确定性策略梯度 性能评估 自动控制 鲁棒性

📋 核心要点

  1. 现有的控制方法在处理非最小相位系统时面临性能不足和鲁棒性挑战，尤其是在复杂环境中。
  2. 本文提出了基于DDPG的无模型控制器，旨在通过灵活的奖励函数设计来提升设定点跟踪性能。
  3. 实验结果显示，DDPG控制器在面对干扰、噪声和模型不确定性时表现出色，但在某些标准上仍需改进。

📝 摘要（中文）

深度强化学习（DRL）技术在控制和决策算法中受到广泛关注。尽管基于模型的方法逐渐增多，但无模型的DRL方法因其独立于模型的特性而引人注目。本文对数据驱动的DRL范式与经典状态反馈控制器进行了全面的性能分析，二者均基于线性二次调节器（LQR）问题的相同成本（奖励）函数设计。研究开发了两种基于深度确定性策略梯度（DDPG）的控制器，旨在解决非最小相位系统中的设定点跟踪问题。结果表明，DDPG控制器在严苛的测试条件下表现出良好的行为，但在所有标准上仍需进一步改进以超越经典方法。本文为控制工程领域的DRL算法提供了实用的见解和评估框架。

🔬 方法详解

问题定义：本文旨在解决非最小相位系统中的设定点跟踪问题。现有的控制方法在复杂环境下的性能和鲁棒性不足，尤其是在面对干扰和模型不确定性时。

核心思路：论文提出的解决方案是开发两种基于深度确定性策略梯度（DDPG）的控制器，利用DRL的灵活性和适应性来优化控制策略。通过与经典状态反馈控制器的比较，评估其在设定点跟踪中的表现。

技术框架：整体架构包括数据驱动的DRL控制器与经典LQR控制器的设计与比较。主要模块包括状态反馈机制、奖励函数设计以及性能评估标准的引入。

关键创新：最重要的技术创新在于引入了十二个额外的性能标准，以评估控制器的表现，超越了传统LQR问题的限制。这为DRL算法在控制工程中的应用提供了新的评估框架。

关键设计：控制器的设计中，采用了DDPG算法的标准网络结构，并针对特定任务调整了损失函数和超参数设置，以提高在非最小相位系统中的跟踪性能。

📊 实验亮点

实验结果表明，DDPG控制器在面对干扰和噪声时表现出良好的鲁棒性，尽管在某些性能标准上仍需改进。与经典控制器相比，DDPG控制器在设定点跟踪任务中的表现显示出一定的优势，尤其是在复杂环境下的适应能力。

🎯 应用场景

该研究的潜在应用领域包括自动控制系统、机器人导航和智能制造等。通过优化非最小相位系统的控制策略，能够提升系统的响应速度和稳定性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Deep Reinforcement Learning (DRL) techniques have received significant attention in control and decision-making algorithms. Most applications involve complex decision-making systems, justified by the algorithms' computational power and cost. While model-based versions are emerging, model-free DRL approaches are intriguing for their independence from models, yet they remain relatively less explored in terms of performance, particularly in applied control. This study conducts a thorough performance analysis comparing the data-driven DRL paradigm with a classical state feedback controller, both designed based on the same cost (reward) function of the linear quadratic regulator (LQR) problem. Twelve additional performance criteria are introduced to assess the controllers' performance, independent of the LQR problem for which they are designed. Two Deep Deterministic Policy Gradient (DDPG)-based controllers are developed, leveraging DDPG's widespread reputation. These controllers are aimed at addressing a challenging setpoint tracking problem in a Non-Minimum Phase (NMP) system. The performance and robustness of the controllers are assessed in the presence of operational challenges, including disturbance, noise, initial conditions, and model uncertainties. The findings suggest that the DDPG controller demonstrates promising behavior under rigorous test conditions. Nevertheless, further improvements are necessary for the DDPG controller to outperform classical methods in all criteria. While DRL algorithms may excel in complex environments owing to the flexibility in the reward function definition, this paper offers practical insights and a comparison framework specifically designed to evaluate these algorithms within the context of control engineering.