Human-compatible driving partners through data-regularized self-play reinforcement learning

📄 arXiv: 2403.19648v2 📥 PDF

作者: Daphne Cornelisse, Eugene Vinitsky

分类: cs.RO, cs.AI, cs.LG, cs.MA

发布日期: 2024-03-28 (更新: 2024-06-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出HR-PPO算法以解决人机协作驾驶问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 人机协作 强化学习 多代理系统 交通安全 仿真训练

📋 核心要点

  1. 现有的模仿学习方法在多代理闭环环境中表现不佳，导致高碰撞率，无法有效模拟人类驾驶行为。
  2. 本文提出HR-PPO算法，通过自我对弈与人类参考策略的结合，提升代理在复杂交通场景中的表现。
  3. 实验结果显示，HR-PPO代理在成功率、越界率和碰撞率等指标上均有显著提升，且驾驶行为更接近人类。

📝 摘要（中文）

自主驾驶车辆面临的核心挑战之一是与人类驾驶者的协调。因此，在仿真中引入真实的人类代理对于可扩展的训练和评估至关重要。现有的模仿学习代理在多代理闭环环境中表现不佳，碰撞率较高。为此，本文提出了一种人类正则化的PPO（HR-PPO）算法，通过自我对弈训练代理，并对偏离人类参考策略施加小惩罚。与以往工作不同，本方法以强化学习为核心，仅使用30分钟的不完美人类示范。实验结果表明，HR-PPO代理在多代理交通场景中表现出色，成功率达到93%，越界率为3.5%，碰撞率为3%。同时，代理的驾驶方式与人类相似，特别是在高度互动的场景中，协调能力显著提升。

🔬 方法详解

问题定义：本文旨在解决自主驾驶代理在多代理闭环环境中协调与人类驾驶者的问题。现有的模仿学习方法在此环境中表现不佳，导致高碰撞率和不自然的驾驶行为。

核心思路：提出HR-PPO算法，通过自我对弈训练代理，并对偏离人类参考策略施加小惩罚，从而使代理在复杂交通场景中表现得更为自然和有效。

技术框架：HR-PPO算法的整体架构包括自我对弈训练模块和人类策略正则化模块。代理在训练过程中通过与自身的对战不断优化，同时参考人类驾驶行为进行调整。

关键创新：HR-PPO的核心创新在于将人类参考策略的正则化引入到强化学习框架中，使得代理能够在有限的人类示范下实现高效学习。这一方法与传统的纯模仿学习方法有本质区别。

关键设计：在算法设计中，设置了适当的惩罚参数以控制偏离人类策略的程度，并采用了适合多代理环境的PPO算法结构，确保训练的稳定性和有效性。代理的训练仅需30分钟的不完美人类示范，显著降低了对高质量数据的依赖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HR-PPO代理在多代理交通场景中成功率达到93%，越界率仅为3.5%，碰撞率为3%。这些结果显示出HR-PPO在协调与人类驾驶者方面的显著优势，尤其是在高度互动的场景中表现尤为突出。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和人机协作机器人等。通过提升自主驾驶系统与人类驾驶者的协调能力，能够显著提高交通安全性和效率，推动智能交通技术的实际应用和发展。

📄 摘要（原文）

A central challenge for autonomous vehicles is coordinating with humans. Therefore, incorporating realistic human agents is essential for scalable training and evaluation of autonomous driving systems in simulation. Simulation agents are typically developed by imitating large-scale, high-quality datasets of human driving. However, pure imitation learning agents empirically have high collision rates when executed in a multi-agent closed-loop setting. To build agents that are realistic and effective in closed-loop settings, we propose Human-Regularized PPO (HR-PPO), a multi-agent algorithm where agents are trained through self-play with a small penalty for deviating from a human reference policy. In contrast to prior work, our approach is RL-first and only uses 30 minutes of imperfect human demonstrations. We evaluate agents in a large set of multi-agent traffic scenes. Results show our HR-PPO agents are highly effective in achieving goals, with a success rate of 93%, an off-road rate of 3.5%, and a collision rate of 3%. At the same time, the agents drive in a human-like manner, as measured by their similarity to existing human driving logs. We also find that HR-PPO agents show considerable improvements on proxy measures for coordination with human driving, particularly in highly interactive scenarios. We open-source our code and trained agents at https://github.com/Emerge-Lab/nocturne_lab and provide demonstrations of agent behaviors at https://sites.google.com/view/driving-partners.