Constrained Optimal Fuel Consumption of HEV: A Constrained Reinforcement Learning Approach

📄 arXiv: 2403.07503v2 📥 PDF

作者: Shuchang Yan

分类: cs.LG

发布日期: 2024-03-12 (更新: 2024-04-02)

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出约束强化学习方法以解决混合电动车的燃油消耗优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合电动车 约束强化学习 燃油消耗优化 CVPO 拉格朗日方法 电池电量平衡 智能交通 可持续发展

📋 核心要点

  1. 现有研究未能明确HEV在特定条件下的最低燃油消耗，缺乏有效的优化方法。
  2. 本文首次提出了基于约束强化学习的燃油消耗优化方法，结合CVPO和拉格朗日方法进行求解。
  3. 实验结果显示，CVPO和拉格朗日方法均能实现最低燃油消耗，拉格朗日方法的最低值为3.95 L/100km。

📝 摘要（中文）

混合电动车（HEV）因其能够更好地结合内燃机和电动机的工作特性而日益受到欢迎。然而，在特定组装条件和速度曲线下，HEV在电池电量平衡情况下的最低燃油消耗仍未得到明确。本文首次从约束强化学习（CRL）的角度提供了约束最优燃油消耗（COFC）的数学表达式，并首次应用了两种主流CRL方法：约束变分策略优化（CVPO）和基于拉格朗日的方法，以获得在电池电量平衡条件下的最低燃油消耗。通过对丰田普锐斯混合动力系统的案例研究，比较了CVPO和拉格朗日方法的性能，结果表明两者均能在保持SOC平衡约束的情况下实现最低燃油消耗。CVPO方法收敛稳定，而拉格朗日方法则在3.95 L/100km的燃油消耗下表现出更大的波动性，验证了所提CRL方法在COFC问题上的有效性。

🔬 方法详解

问题定义：本文旨在解决混合电动车在电池电量平衡情况下的最低燃油消耗问题。现有方法未能有效处理特定组装条件和速度曲线下的燃油消耗优化，导致实际应用中的效率低下。

核心思路：通过引入约束强化学习（CRL），本文提出了一种新的优化框架，利用CVPO和拉格朗日方法来求解燃油消耗的最优解。这种设计能够在满足电池电量平衡约束的同时，降低燃油消耗。

技术框架：整体架构包括问题建模、约束强化学习算法的实现以及性能评估三个主要模块。首先，建立HEV的数学模型；其次，应用CVPO和拉格朗日方法进行优化；最后，通过案例研究评估算法性能。

关键创新：本文的主要创新在于首次将约束强化学习应用于HEV的燃油消耗优化问题，提出了新的数学表达式和求解方法，与传统优化方法相比，能够更好地处理约束条件。

关键设计：在算法实现中，设置了特定的损失函数以平衡燃油消耗和SOC约束，采用了适应性学习率和策略更新机制，以确保算法的收敛性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CVPO和拉格朗日方法均能实现最低燃油消耗，拉格朗日方法的最低燃油消耗为3.95 L/100km，尽管存在较大的波动性。CVPO方法则表现出更好的收敛性，验证了所提方法的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在混合电动车的设计与优化领域。通过优化燃油消耗，能够有效提升HEV的经济性和环保性，推动可持续交通的发展。未来，该方法还可扩展至其他类型的电动车辆和智能交通系统中。

📄 摘要（原文）

Hybrid electric vehicles (HEVs) are becoming increasingly popular because they can better combine the working characteristics of internal combustion engines and electric motors. However, the minimum fuel consumption of an HEV for a battery electrical balance case under a specific assembly condition and a specific speed curve still needs to be clarified in academia and industry. Regarding this problem, this work provides the mathematical expression of constrained optimal fuel consumption (COFC) from the perspective of constrained reinforcement learning (CRL) for the first time globally. Also, two mainstream approaches of CRL, constrained variational policy optimization (CVPO) and Lagrangian-based approaches, are utilized for the first time to obtain the vehicle's minimum fuel consumption under the battery electrical balance condition. We conduct case studies on the well-known Prius TOYOTA hybrid system (THS) under the NEDC condition; we give vital steps to implement CRL approaches and compare the performance between the CVPO and Lagrangian-based approaches. Our case study found that CVPO and Lagrangian-based approaches can obtain the lowest fuel consumption while maintaining the SOC balance constraint. The CVPO approach converges stable, but the Lagrangian-based approach can obtain the lowest fuel consumption at 3.95 L/100km, though with more significant oscillations. This result verifies the effectiveness of our proposed CRL approaches to the COFC problem.