A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control
作者: Farzaneh Tatari
分类: eess.SY
发布日期: 2026-08-18
💡 一句话要点
提出混合控制架构以解决安全车辆横向控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 混合控制 软演员-评论家 模型预测控制 自动驾驶 安全性保障 深度强化学习 车辆控制 智能交通
📋 核心要点
- 现有的控制方法在面对模型误差和传感器噪声时，难以同时满足准确性和安全性。
- 本文提出了一种混合控制架构，将软演员-评论家（SAC）与受限线性MPC结合，以实现更安全的转向控制。
- 实验结果表明，混合架构在跟踪质量上保持了SAC的优势，同时确保了执行器的安全范围。
📝 摘要（中文）
连接和自动化车辆需要同时具备准确性、低努力和在模型误差及传感器噪声下的安全性。模块化控制器如模型预测控制（MPC）可解释且考虑约束，但依赖于准确模型和手动调节的权重。端到端学习策略，尤其是连续动作深度强化学习，适应性强且无需手动设计控制法则，但缺乏内在安全保障和有限的可解释性。本文提出了一种混合架构，将端到端的软演员-评论家（SAC）策略与受限线性MPC结合为单一转向指令，利用MPC的第一步最优解作为基于模型的锚点，并通过单一单调混合系数在两种范式之间进行插值。该架构在一个线性化的横向自行车模型上进行评估，结果显示其在跟踪质量上优于独立的SAC，同时保持在MPC的执行器范围内。
🔬 方法详解
问题定义：本文旨在解决连接和自动化车辆在横向控制中面临的安全性和准确性问题。现有的模块化控制方法如MPC依赖于准确的模型，而端到端学习方法则缺乏安全保障和可解释性。
核心思路：论文提出的混合架构结合了SAC的适应性和MPC的约束意识，通过将MPC的第一步最优解作为锚点，利用单一混合系数在两者之间进行平滑过渡，从而实现安全且高效的转向控制。
技术框架：该架构包括两个主要模块：端到端的SAC策略和受限线性MPC。首先，MPC生成一个基于模型的最优转向指令，然后通过混合系数与SAC的输出进行融合，最终形成一个安全的转向命令。
关键创新：最重要的创新在于将两种控制方法有效结合，既保留了SAC的灵活性，又确保了MPC的安全性。这种设计使得控制策略在面对不确定性时更加稳健。
关键设计：在设计中，混合系数的选择是关键，论文提出了通过车辆与一切（V2X）信号调度该系数，以增强模型的权威性。此外，损失函数和网络结构的选择也经过精心设计，以确保控制效果的最优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，混合控制架构在跟踪质量上优于独立的SAC，且在执行器范围内保持稳定性。与PID基线和调优的线性MPC相比，混合架构在多个实验条件下表现出更好的鲁棒性，尤其是在面对单轴和多初始条件的情况下。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和高级驾驶辅助系统（ADAS）。通过提高车辆在复杂环境中的安全性和稳定性，能够显著提升用户体验和交通安全，未来可能对智能交通网络的构建产生深远影响。
📄 摘要（原文）
Connected and automated vehicles demand lateral controllers that are simultaneously accurate, low-effort, and safe under model error and sensor noise. Modular controllers such as model predictive control (MPC) are interpretable and constraint-aware but rely on accurate models and hand-tuned weights. End-to-end learned policies, in particular continuous-action deep reinforcement learning, are adaptable and require no hand-designed control law, but offer no intrinsic safety guarantees and limited interpretability. This paper presents a hybrid architecture that combines an end-to-end Soft Actor-Critic (SAC) policy with a constrained linear MPC into a single steering command, using the MPC's first-step optimum as the model-based anchor and a single monotone blending coefficient that interpolates between the two paradigms. The architecture is evaluated on a linearized lateral bicycle model against a PID baseline, a tuned linear MPC, and a stand-alone SAC policy, across nominal, single-axis robustness, and multi-initial-condition ensemble experiments. The hybrid retains the tracking quality of stand-alone SAC while remaining inside the MPC's actuator envelope and preserving a deterministic, model-based contribution to every steering command. The architecture provides an actuator-envelope guarantee by construction but does not establish recursive feasibility or terminal invariance, and the closed-form blend does not prevent all corner-case divergences at the boundary of the training distribution. A corner-case analysis shows that the blend attenuates but cannot prevent failure under distribution shift, motivating a connectivity-aware extension in which the blending coefficient is scheduled by vehicle-to-everything (V2X) signals to restore model-based authority. Limitations and a path toward a constrained-QP predictive safety filter are discussed.