Shared learning of powertrain control policies for vehicle fleets

📄 arXiv: 2404.17892v1 📥 PDF

作者: Lindsey Kerbel, Beshah Ayalew, Andrej Ivanco

分类: eess.SY, cs.AI, cs.LG

发布日期: 2024-04-27

期刊: Elsevier Applied Energy Volume 365, 1 July 2024, 123217

DOI: 10.1016/j.apenergy.2024.123217

💡 一句话要点

提出共享学习框架以解决车队动力系统控制的学习稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 共享学习 动力系统控制 车队管理 燃油经济性 知识蒸馏 学习稳定性

📋 核心要点

  1. 现有的深度强化学习方法在车队服务多条路线时，面临学习稳定性差和高方差的问题，影响实际部署。
  2. 本文提出了一种共享学习框架，通过蒸馏的群体策略实现车队间的知识共享，从而提高策略学习的稳定性和效率。
  3. 实验结果显示，与基线相比，采用共享学习方法的车队在燃油经济性上平均提升8.5%，并改善了加速误差和换挡频率。

📝 摘要（中文）

随着数据驱动方法的兴起，深度强化学习（DRL）在优化动力系统控制策略方面展现出巨大潜力。然而，针对服务多条路线的车队，DRL方法在学习稳定性上存在高方差的问题，限制了其实际应用。本文提出了一种新颖的共享学习框架，通过蒸馏的群体策略作为知识共享机制，改善车队中每辆车的策略学习。我们详细阐述了数学模型，并在多个场景中分析了该框架的功能、性能和计算可扩展性。与个体学习代理和另一种集中学习的先进方法相比，我们的方法在燃油经济性上实现了8.5%的平均渐近改善，同时提升了加速误差和换挡频率等指标。实验结果表明，该框架有效降低了车队内的方差，并帮助个体代理更好地适应新路线。

🔬 方法详解

问题定义：本文旨在解决车队动力系统控制策略学习中的高方差和学习不稳定性问题。现有的深度强化学习方法在多条服务路线的情况下，难以实现有效的知识共享和策略优化。

核心思路：我们提出的共享学习框架通过蒸馏的群体策略实现知识共享，使得每辆车在学习过程中能够利用来自其他车辆的经验，从而提高学习的稳定性和效率。

技术框架：该框架包括多个模块：首先是数据收集模块，负责从车队中收集驾驶数据；其次是策略学习模块，利用蒸馏的群体策略进行知识共享；最后是性能评估模块，分析学习效果和优化策略。

关键创新：最重要的创新在于引入蒸馏的群体策略作为知识共享机制，这与传统的个体学习方法和集中学习方法有本质区别，能够有效降低学习过程中的方差。

关键设计：在设计中，我们设置了特定的损失函数以平衡个体学习与群体策略的影响，同时采用了适应性学习率和多层神经网络结构，以提高学习的效率和稳定性。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用共享学习框架的车队在燃油经济性上实现了8.5%的平均渐近改善，相较于个体学习代理和集中学习方法，显著提升了加速误差和换挡频率，展示了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆和车队管理等。通过优化动力系统控制策略，能够显著提升车辆的燃油经济性和整体性能，具有重要的实际价值和社会影响。未来，该框架可扩展至更复杂的交通场景和多种类型的车辆，推动智能交通技术的发展。

📄 摘要（原文）

Emerging data-driven approaches, such as deep reinforcement learning (DRL), aim at on-the-field learning of powertrain control policies that optimize fuel economy and other performance metrics. Indeed, they have shown great potential in this regard for individual vehicles on specific routes or drive cycles. However, for fleets of vehicles that must service a distribution of routes, DRL approaches struggle with learning stability issues that result in high variances and challenge their practical deployment. In this paper, we present a novel framework for shared learning among a fleet of vehicles through the use of a distilled group policy as the knowledge sharing mechanism for the policy learning computations at each vehicle. We detail the mathematical formulation that makes this possible. Several scenarios are considered to analyze the functionality, performance, and computational scalability of the framework with fleet size. Comparisons of the cumulative performance of fleets using our proposed shared learning approach with a baseline of individual learning agents and another state-of-the-art approach with a centralized learner show clear advantages to our approach. For example, we find a fleet average asymptotic improvement of 8.5 percent in fuel economy compared to the baseline while also improving on the metrics of acceleration error and shifting frequency for fleets serving a distribution of suburban routes. Furthermore, we include demonstrative results that show how the framework reduces variance within a fleet and also how it helps individual agents adapt better to new routes.