Data-efficient Deep Reinforcement Learning for Vehicle Trajectory Control

📄 arXiv: 2311.18393v1 📥 PDF

作者: Bernd Frauenknecht, Tobias Ehlgen, Sebastian Trimpe

分类: cs.LG, cs.RO

发布日期: 2023-11-30

💡 一句话要点

提出数据高效的深度强化学习方法以解决车辆轨迹控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 车辆轨迹控制 数据高效 模型预测 自动驾驶 智能交通 机器人导航

📋 核心要点

  1. 现有的强化学习方法在车辆轨迹控制中需要大量的训练数据，导致其在实际应用中的不便。
  2. 本文提出了三种数据高效的深度强化学习方法，旨在减少训练数据需求并提高控制性能。
  3. 实验结果表明，所提出的方法在控制策略学习上表现优于传统的SAC方法，且环境交互需求显著降低。

📝 摘要（中文）

先进的车辆控制是自主驾驶系统开发的基础。强化学习（RL）有望在保持低计算需求的同时，实现优于传统方法的控制性能。然而，标准的RL方法如软演员评论家（SAC）需要大量的训练数据，因而在实际应用中不够实用。为了解决这一问题，本文应用了新近开发的数据高效深度RL方法于车辆轨迹控制，重点研究了三种尚未用于车辆控制的方法：随机集成双Q学习（REDQ）、基于轨迹采样的概率集成和模型预测路径积分优化器（PETS-MPPI）、以及基于模型的策略优化（MBPO）。研究发现，标准的基于模型的RL框架在轨迹控制中并不适用，因此提出了一种新的框架，将动态预测与车辆定位分开。基于CARLA模拟器的基准研究显示，这三种数据高效的深度RL方法在控制策略学习上与SAC相当或更优，同时减少了环境交互的需求超过一个数量级。

🔬 方法详解

问题定义：本文旨在解决传统强化学习方法在车辆轨迹控制中对大量训练数据的依赖问题，导致其在实际应用中的局限性。

核心思路：提出了一种新的框架，将动态预测与车辆定位分开，以适应轨迹控制的特定需求，从而提高数据效率。

技术框架：整体架构包括三个主要模块：数据高效的深度RL方法、动态预测模块和车辆定位模块。通过这些模块的协同工作，实现高效的轨迹控制。

关键创新：最重要的创新在于提出了一种新的模型框架，克服了现有基于模型的RL方法在车辆控制中的不适用性，显著提高了数据利用率。

关键设计：在方法实现中，采用了随机集成双Q学习（REDQ）、基于轨迹采样的概率集成和模型预测路径积分优化器（PETS-MPPI）等技术细节，优化了损失函数和网络结构，以提升学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的三种数据高效深度RL方法在控制策略学习上与传统的SAC方法相当或更优，且在环境交互需求上减少了超过一个数量级，显著提升了学习效率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的轨迹控制、智能交通系统以及机器人导航等。通过提高数据效率，能够在实际环境中更快地部署和优化控制策略，具有重要的实际价值和未来影响。

📄 摘要（原文）

Advanced vehicle control is a fundamental building block in the development of autonomous driving systems. Reinforcement learning (RL) promises to achieve control performance superior to classical approaches while keeping computational demands low during deployment. However, standard RL approaches like soft-actor critic (SAC) require extensive amounts of training data to be collected and are thus impractical for real-world application. To address this issue, we apply recently developed data-efficient deep RL methods to vehicle trajectory control. Our investigation focuses on three methods, so far unexplored for vehicle control: randomized ensemble double Q-learning (REDQ), probabilistic ensembles with trajectory sampling and model predictive path integral optimizer (PETS-MPPI), and model-based policy optimization (MBPO). We find that in the case of trajectory control, the standard model-based RL formulation used in approaches like PETS-MPPI and MBPO is not suitable. We, therefore, propose a new formulation that splits dynamics prediction and vehicle localization. Our benchmark study on the CARLA simulator reveals that the three identified data-efficient deep RL approaches learn control strategies on a par with or better than SAC, yet reduce the required number of environment interactions by more than one order of magnitude.