Learned Terminal Costs for Short-Horizon Model Predictive Control of Autonomous Trucks in Interactive Highway Traffic
作者: Hooman Hamze, Benjamin Houshmand, Deepthi Pathare, Erik Börve, Morteza Haghir Chehreghani, Nikolce Murgovski
分类: cs.LG, cs.AI, cs.RO, eess.SY
发布日期: 2026-10-29
备注: 13 pages, 2 figures, 8 tables
💡 一句话要点
提出混合MPC与RL框架以解决自主卡车高速公路驾驶问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主驾驶 模型预测控制 强化学习 交通系统 安全约束
📋 核心要点
- 现有的MPC方法在短时间范围内依赖终端成本，限制了其在自主卡车高速公路驾驶中的有效性。
- 本文提出的混合框架结合了MPC与RL，利用RL模型进行终端成本估计，从而提高了决策的效率与安全性。
- 实验结果表明，混合方法在仿真环境中实现了零碰撞，并且在成本方面优于纯MPC和纯RL方法。
📝 摘要（中文）
自主高速公路驾驶对于重型卡车而言是一个具有挑战性的控制问题。由于卡车的较大质量、尺寸和复杂动态特性，关键操作中对周围交通的合作要求更高，必须在安全约束与高效的长期决策之间找到平衡。模型预测控制（MPC）能够严格满足约束条件，但其依赖的终端成本在短时间可计算的范围内可能限制其有效性。强化学习（RL）能够捕捉长期驾驶行为，但在稀疏碰撞惩罚下训练时，往往导致过于保守的策略。本文提出了一种混合MPC与RL框架，利用动态规划求解的有限时域MPC，结合预训练的RL模型进行终端成本估计。通过在具有反应性周围交通的仿真环境中评估该框架，结果显示该混合方法在所有配置中实现了零碰撞且成本最低。
🔬 方法详解
问题定义：本文旨在解决自主卡车在高速公路驾驶中的控制问题，现有的MPC方法在短时间范围内依赖终端成本，导致其在复杂交通环境中的有效性受到限制。
核心思路：论文提出了一种混合MPC与RL的框架，利用RL模型进行终端成本的估计，从而在保证安全的前提下提高决策效率。
技术框架：整体架构包括两个主要模块：有限时域MPC模块和RL模型模块。MPC模块通过动态规划求解，RL模块则提供终端成本的估计。
关键创新：最重要的创新点在于将RL与MPC相结合，利用RL的长期行为捕捉能力来优化MPC的终端成本估计，这一设计显著提升了短时间决策的有效性。
关键设计：在参数设置上，RL模型经过预训练以确保其输出的终端成本准确性，同时MPC的约束条件被严格定义，以确保在复杂交通环境中的安全性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，混合MPC与RL框架在所有配置中实现了零碰撞，且在成本方面优于纯MPC（终端成本为零）和纯RL方法，体现了该方法在安全性和效率上的显著提升。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶卡车、智能交通系统及物流运输等。通过提高自主卡车在复杂交通环境中的决策能力，能够显著提升运输效率和安全性，对未来智能交通的发展具有重要影响。
📄 摘要（原文）
Autonomous highway driving for heavy-duty trucks is a challenging control problem. The greater mass, dimensions and intricate dynamics increase the requirements for cooperation from surrounding traffic in critical maneuvers, requiring a careful balance between safety constraints and efficient long-horizon decision making. Model Predictive Control (MPC) provides rigorous constraint satisfaction but relies on terminal cost which can limit its effectiveness at short, computationally affordable horizons. Reinforcement Learning (RL) captures long-term driving behavior but offers no constraint guarantees and tends toward overly conservative policies when trained under sparse collision penalties. In this paper, we propose a hybrid MPC and RL framework for highway driving in autonomous trucks, where a finite-horizon MPC, solved via dynamic programming, uses a pre-trained RL model for terminal cost estimation. We evaluate the framework in a simulation environment with reactive surrounding traffic and compare it against pure MPC with zero terminal cost, rollout with terminal cost estimation using a base policy, and pure RL. Results show that the hybrid approach achieves zero collisions with the lowest cost of any configuration.