ReLU-QP: A GPU-Accelerated Quadratic Programming Solver for Model-Predictive Control

📄 arXiv: 2311.18056v1 📥 PDF

作者: Arun L. Bishop, John Z. Zhang, Swaminathan Gurumurthy, Kevin Tracy, Zachary Manchester

分类: cs.RO

发布日期: 2023-11-29

备注: submitted to ICRA 2024

💡 一句话要点

提出ReLU-QP以解决高维控制问题的实时求解

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 二次规划 模型预测控制 GPU加速 深度学习 机器人控制 实时求解

📋 核心要点

  1. 现有的二次规划求解方法在高维控制问题上面临计算效率低下的挑战，尤其是在实时应用中。
  2. 论文提出的ReLU-QP通过将ADMM算法重构为深度神经网络，利用GPU加速实现高效求解。
  3. 实验结果显示，ReLU-QP在小到中等规模问题上与CPU求解器竞争力强，而在大规模问题上速度提升达到数量级。

📝 摘要（中文）

我们提出了ReLU-QP，这是一种加速的二次规划求解器，能够以实时速率解决高维控制问题。ReLU-QP通过将交替方向乘子法（ADMM）算法精确重构为具有整流线性单元（ReLU）激活的深度、权重绑定神经网络，从而实现了在GPU上使用标准机器学习工具箱的部署。我们在三个模型预测控制基准上评估了ReLU-QP的性能，结果表明其在小到中等规模问题上与最先进的CPU求解器具有竞争力，并在大规模问题上提供了数量级的速度提升。

🔬 方法详解

问题定义：本论文旨在解决高维控制问题中的二次规划求解效率低下的问题。现有方法在处理复杂控制任务时，计算速度和资源消耗成为瓶颈。

核心思路：ReLU-QP通过将交替方向乘子法（ADMM）算法重构为深度神经网络，利用ReLU激活函数实现高效求解。这样的设计使得求解过程可以在GPU上并行化，从而显著提升计算速度。

技术框架：ReLU-QP的整体架构包括输入层、多个隐藏层和输出层，输入为控制问题的参数，输出为优化结果。每个隐藏层使用ReLU激活函数，网络权重在训练过程中保持绑定。

关键创新：ReLU-QP的主要创新在于将传统的优化算法与深度学习相结合，使得二次规划求解不仅可以在GPU上高效运行，还能通过深度学习的方式进行自我优化。与现有方法相比，这种结合显著提高了求解速度。

关键设计：在网络设计中，采用了权重绑定的策略以减少参数数量，同时使用了适合控制问题的损失函数，确保求解的准确性和稳定性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ReLU-QP在小到中等规模问题上与最先进的CPU求解器表现相当，而在大规模问题上实现了数量级的速度提升，具体提升幅度达到10倍以上，显示出其在实际应用中的巨大潜力。

🎯 应用场景

ReLU-QP的研究成果在机器人控制、自动驾驶、智能制造等领域具有广泛的应用潜力。其高效的求解能力能够支持实时决策，提升系统的响应速度和控制精度，推动智能系统的进一步发展。

📄 摘要（原文）

We present ReLU-QP, a GPU-accelerated solver for quadratic programs (QPs) that is capable of solving high-dimensional control problems at real-time rates. ReLU-QP is derived by exactly reformulating the Alternating Direction Method of Multipliers (ADMM) algorithm for solving QPs as a deep, weight-tied neural network with rectified linear unit (ReLU) activations. This reformulation enables the deployment of ReLU-QP on GPUs using standard machine-learning toolboxes. We evaluate the performance of ReLU-QP across three model-predictive control (MPC) benchmarks: stabilizing random linear dynamical systems with control limits, balancing an Atlas humanoid robot on a single foot, and tracking whole-body reference trajectories on a quadruped equipped with a six-degree-of-freedom arm. These benchmarks indicate that ReLU-QP is competitive with state-of-the-art CPU-based solvers for small-to-medium-scale problems and offers order-of-magnitude speed improvements for larger-scale problems.