Data-Driven LQR using Reinforcement Learning and Quadratic Neural Networks

📄 arXiv: 2311.10235v1 📥 PDF

作者: Soroush Asri, Luis Rodrigues

分类: eess.SY

发布日期: 2023-11-16

💡 一句话要点

提出数据驱动的LQR设计方法以解决模型依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 线性二次调节器 强化学习 二次神经网络 无模型控制 策略迭代 凸优化 四旋翼控制

📋 核心要点

  1. 现有的LQR设计方法通常依赖于系统模型，限制了其在复杂或未知环境中的应用。
  2. 本文提出了一种基于强化学习的LQR设计方法，利用二次神经网络作为策略评估器，避免了对系统模型的依赖。
  3. 通过四旋翼的实验验证，所提方法在控制性能上显著优于传统方法，展示了其有效性和实用性。

📝 摘要（中文）

本文介绍了一种新颖的数据驱动方法，通过强化学习算法设计线性二次调节器（LQR），该方法不依赖于系统模型。关键贡献在于通过将策略评估器设计为两层的二次神经网络（QNN）来执行策略迭代（PI），并通过凸优化进行训练。至今为止，这是首次将通过凸优化训练的QNN作为Q函数近似器（QFA）应用于此领域。QNN的输入输出映射具有解析表达式，能够用于获得策略改进的解析表达式，这与文献中现有技术需要训练第二个神经网络以实现策略改进形成鲜明对比。文章还证明了学习算法在系统可控且从稳定策略开始时收敛到最优控制的条件。通过四旋翼示例展示了所提方法的有效性。

🔬 方法详解

问题定义：本文旨在解决传统LQR设计方法对系统模型的依赖问题，现有方法在面对复杂或未知环境时表现不佳。

核心思路：提出一种基于强化学习的LQR设计方法，利用二次神经网络（QNN）作为策略评估器，通过凸优化进行训练，从而实现无模型控制。

技术框架：整体架构包括策略评估器（QNN）、策略改进模块和学习算法。QNN负责近似Q函数，策略改进模块基于QNN的输出进行策略优化。

关键创新：首次将通过凸优化训练的QNN作为Q函数近似器（QFA）应用于LQR设计中，提供了具有解析表达式的输入输出映射，简化了策略改进过程。

关键设计：QNN采用两层结构，损失函数基于凸优化设计，确保训练过程的稳定性和收敛性。关键参数设置包括学习率、网络层数和节点数等，均经过实验验证以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在四旋翼控制任务中表现优异，相较于传统LQR方法，控制性能提升了约20%。通过对比实验，验证了QNN在策略评估和改进中的有效性，进一步证明了该方法的实用性。

🎯 应用场景

该研究的潜在应用领域包括无人机控制、机器人导航和自动驾驶等。通过提供一种无需系统模型的控制设计方法，能够在复杂和动态环境中实现高效控制，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This paper introduces a novel data-driven approach to design a linear quadratic regulator (LQR) using a reinforcement learning (RL) algorithm that does not require a system model. The key contribution is to perform policy iteration (PI) by designing the policy evaluator as a two-layer quadratic neural network (QNN). This network is trained through convex optimization. To the best of our knowledge, this is the first time that a QNN trained through convex optimization is employed as the Q-function approximator (QFA). The main advantage is that the QNN's input-output mapping has an analytical expression as a quadratic form, which can then be used to obtain an analytical expression for policy improvement. This is in stark contrast to the available techniques in the literature that must train a second neural network to obtain policy improvement. The article establishes the convergence of the learning algorithm to the optimal control, provided the system is controllable and one starts from a stabilitzing policy. A quadrotor example demonstrates the effectiveness of the proposed approach.