An Adjoint-based Neural Regulator for Real-Time Optimal Control with State Constraints

📄 arXiv: 2606.16303v1 📥 PDF

作者: Isaiah A. Agboola, Yuxin Tong, Uduak Inyang-Udoh

分类: eess.SY

发布日期: 2026-06-15

💡 一句话要点

提出基于伴随神经调节器以解决实时最优控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 实时控制 最优控制 非线性系统 安全约束 神经网络 伴随方法 凸优化 控制理论

📋 核心要点

  1. 现有的控制方法在处理非线性系统时，往往难以同时满足实时性和安全性约束，导致性能不足。
  2. 本文提出的伴随神经调节器（ANR）通过学习神经伴随政策，利用哈密顿量编码最优性，解决了这一问题。
  3. 实验结果表明，ANR在非线性约束控制任务中，计算成本显著低于传统方法，同时在未见场景中表现稳定。

📝 摘要（中文）

本文提出了一种基于学习的控制框架，用于实时约束的非线性系统最优控制，确保安全性，基于庞特里亚金最小原理。该方法学习一种神经伴随政策，通过系统哈密顿量编码最优性，而不是直接近似控制律。运行时通过高效的凸投影单独强制可行性，结合执行器限制和以控制障碍函数表达的安全约束。我们称该框架为伴随神经调节器（ANR），它在满足约束的同时保留了学习伴随所编码的最优性结构。通过对非线性约束控制任务的实验，ANR在计算成本上比非线性模型预测控制低两个数量级，同时在未见场景中表现接近不变，显著优于强化学习方法。

🔬 方法详解

问题定义：本文旨在解决非线性系统的实时最优控制问题，尤其是在存在安全性约束的情况下。现有方法往往难以兼顾实时性与约束满足，导致性能下降。

核心思路：论文提出的伴随神经调节器（ANR）通过学习神经伴随政策，利用系统的哈密顿量来编码最优性，而不是直接近似控制律。这种设计使得控制器能够在满足约束的同时保持最优性。

技术框架：ANR的整体架构包括两个主要模块：神经伴随政策学习模块和运行时约束可行性检查模块。前者负责学习最优控制策略，后者通过高效的凸投影方法确保在执行过程中满足安全约束。

关键创新：ANR的主要创新在于将伴随状态的学习与实时约束控制相结合，形成了一种新的控制策略生成方式。这与传统的控制方法有本质区别，后者通常直接生成控制律，而ANR则通过伴随状态来间接实现最优控制。

关键设计：在设计中，ANR使用了特定的损失函数来优化神经网络的训练，同时在运行时采用控制障碍函数来表达安全约束。此外，凸投影的实现确保了控制信号在执行器限制内，从而有效地处理约束问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ANR在非线性约束控制任务中，性能与非线性模型预测控制相当，但计算成本降低了两个数量级。同时，在未见场景中，ANR的性能保持接近不变，显著优于传统的强化学习方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和工业自动化等场景，能够在保证安全性的前提下实现高效的实时控制。未来，ANR有望在更复杂的动态环境中应用，推动智能系统的安全性与效率提升。

📄 摘要（原文）

This paper introduces a learning-based control framework for real-time constrained optimal control of nonlinear systems with safety guarantees based on the Pontryagin's Minimum Principle. The approach learns a neural co-state (adjoint) policy that encodes optimality through the system Hamiltonian, rather than directly approximating a control law. Feasibility is enforced separately at runtime through an efficient convex projection that incorporates actuator limits and safety constraints expressed as control barrier functions. We refer to this framework as an adjoint-based neural regulator (ANR) as it yields a controller that satisfies constraints while retaining the optimality structure encoded by the learned adjoint. We demonstrate the effectiveness of the proposed framework on nonlinear constrained control tasks using a unicycle model. The ANR achieves performance at par with nonlinear model predictive control at more than two orders of magnitude lower computational cost, while exhibiting near-invariant performance across unseen scenarios, thus, significantly outperforming reinforcement learning methods in out-of-training-distribution regimes.