Lyapunov Neural Network with Region of Attraction Search
作者: Zili Wang, Sean B. Andersson, Roberto Tron
分类: eess.SY
发布日期: 2024-03-15
备注: The paper has been accepted by 2024 American Control Conference (ACC)
💡 一句话要点
提出李雅普诺夫神经网络以解决控制稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 李雅普诺夫神经网络 控制稳定性 深度强化学习 吸引域 复杂非线性系统
📋 核心要点
- 现有的深度强化学习方法在安全关键应用中缺乏稳定性保证，限制了其在复杂非线性系统中的应用。
- 本文提出了一种李雅普诺夫神经网络，通过设计特定的李雅普诺夫函数架构来确保稳定性和加速控制器的学习。
- 实验结果显示，该方法在2D倒立摆、单轮车路径跟踪等多个系统上训练时间缩短了50%，并找到了更大的吸引域。
📝 摘要（中文）
深度学习方法在机器人应用中得到了广泛应用，使得复杂非线性系统的学习控制设计成为一个有前景的方向。尽管深度强化学习方法在经验上表现出色，但在安全关键的情况下缺乏稳定性保证。本文提出了一种李雅普诺夫神经网络，旨在通过学习李雅普诺夫证书来提供这些保证。我们提出了一种特定的李雅普诺夫函数架构，确保非负性和唯一全局最小值，并通过最大化给定水平集内的正方形面积来加速控制器和李雅普诺夫证书的寻找。实验表明，该方法在多个系统上训练时间缩短了一半，并找到了更大的吸引域。
🔬 方法详解
问题定义：本文旨在解决在复杂非线性系统中，如何通过学习李雅普诺夫证书来确保控制器的稳定性。现有方法在动态系统为分段线性时能够解决部分问题，但在更复杂的情况下仍存在挑战。
核心思路：论文的核心思路是设计一种李雅普诺夫神经网络，该网络考虑了不同方向上的单调性，从而能够更有效地学习李雅普诺夫函数和控制策略。通过确保李雅普诺夫函数的非负性和唯一全局最小值，能够加速控制器的学习过程。
技术框架：整体架构包括李雅普诺夫神经网络的设计、控制器的学习过程以及吸引域的搜索。主要模块包括李雅普诺夫函数的构建、控制策略的优化以及吸引域的最大化。
关键创新：最重要的技术创新点在于提出了一种新的李雅普诺夫函数架构，确保了其非负性和唯一全局最小值。这一设计使得在复杂动态系统中能够更快速地找到有效的控制策略和李雅普诺夫证书。
关键设计：在网络结构上，设计了特定的层次和激活函数，以确保李雅普诺夫函数的性质。同时，损失函数的设计也考虑了吸引域的最大化，确保了训练过程的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的李雅普诺夫神经网络在多个系统上训练时间缩短了50%，并且能够找到更大的吸引域，相较于基线方法表现出显著的性能提升。
🎯 应用场景
该研究具有广泛的潜在应用领域，包括机器人控制、自动驾驶、无人机飞行等安全关键系统。通过提供稳定性保证，能够提升这些系统在复杂环境中的可靠性和安全性，未来可能推动智能控制技术的进一步发展。
📄 摘要（原文）
Deep learning methods have been widely used in robotic applications, making learning-enabled control design for complex nonlinear systems a promising direction. Although deep reinforcement learning methods have demonstrated impressive empirical performance, they lack the stability guarantees that are important in safety-critical situations. One way to provide these guarantees is to learn Lyapunov certificates alongside control policies. There are three related problems: 1) verify that a given Lyapunov function candidate satisfies the conditions for a given controller on a region, 2) find a valid Lyapunov function and controller on a given region, and 3) find a valid Lyapunov function and a controller such that the region of attraction is as large as possible. Previous work has shown that if the dynamics are piecewise linear, it is possible to solve problems 1) and 2) by solving a Mixed-Integer Linear Program (MILP). In this work, we build upon this method by proposing a Lyapunov neural network that considers monotonicity over half spaces in different directions. We 1) propose a specific choice of Lyapunov function architecture that ensures non-negativity and a unique global minimum by construction, and 2) show that this can be leveraged to find the controller and Lyapunov certificates faster and with a larger valid region by maximizing the size of a square inscribed in a given level set. We apply our method to a 2D inverted pendulum, unicycle path following, a 3-D feedback system, and a 4-D cart pole system, and demonstrate it can shorten the training time by half compared to the baseline, as well as find a larger ROA.