CtRL-Sim: Reactive and Controllable Driving Agents with Offline Reinforcement Learning
作者: Luke Rowe, Roger Girgis, Anthony Gosselin, Bruno Carrez, Florian Golemo, Felix Heide, Liam Paull, Christopher Pal
分类: cs.RO, cs.AI, cs.LG
发布日期: 2024-03-29 (更新: 2024-10-14)
备注: CoRL 2024
💡 一句话要点
提出CtRL-Sim以解决自主驾驶代理的反应性与可控性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主驾驶 强化学习 交通代理 仿真评估 行为生成 多智能体系统 安全关键场景
📋 核心要点
- 现有方法在使用离线数据重放时，代理缺乏反应性且难以控制，影响了仿真评估的有效性。
- CtRL-Sim通过回报条件的离线强化学习，生成反应性和可控的交通代理，提升了代理行为的灵活性。
- 实验结果表明，CtRL-Sim能够生成多种驾驶行为，包括对抗性行为，并在安全关键场景中表现出色。
📝 摘要（中文）
在仿真中评估自主驾驶车辆通常需要重放真实世界的驾驶日志。然而，从离线数据重放的代理缺乏反应性且难以直观控制。现有方法通过启发式或生成模型解决这些挑战，但往往缺乏真实感或需要昂贵的迭代采样程序。本文提出CtRL-Sim，利用回报条件的离线强化学习高效生成反应性和可控的交通代理。我们通过物理增强的Nocturne模拟器处理真实驾驶数据，生成多样化的离线RL数据集，并训练回报条件的多智能体行为模型，从而实现对代理行为的精细控制。CtRL-Sim能够生成现实的安全关键场景，同时提供对代理行为的细粒度控制。
🔬 方法详解
问题定义：本文旨在解决自主驾驶代理在仿真中缺乏反应性和可控性的问题。现有方法依赖于离线数据重放，导致代理行为不够灵活，难以满足真实场景的需求。
核心思路：CtRL-Sim采用回报条件的离线强化学习，通过处理真实世界的驾驶数据，生成多样化的代理行为。该方法允许通过调整奖励组件的期望回报来精细控制代理的行为。
技术框架：整体架构包括数据处理、模型训练和行为生成三个主要模块。首先，利用Nocturne模拟器生成离线数据集；其次，训练回报条件的多智能体行为模型；最后，根据不同的奖励设置生成多样化的驾驶行为。
关键创新：CtRL-Sim的主要创新在于其回报条件的设计，使得代理能够在不依赖昂贵的迭代采样的情况下，生成多样化且真实的驾驶行为。这一方法与传统的启发式或生成模型方法本质上不同。
关键设计：在模型训练中，设置了多种奖励组件，并设计了相应的损失函数，以确保代理能够在不同场景中表现出所需的行为特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CtRL-Sim能够生成多种复杂的驾驶行为，包括对抗性场景，且在安全关键场景中表现出色。与基线方法相比，CtRL-Sim在行为多样性和反应性方面有显著提升，具体性能数据未提供。
🎯 应用场景
CtRL-Sim的研究成果在自主驾驶、智能交通系统和仿真测试等领域具有广泛的应用潜力。通过生成多样化的驾驶行为，该方法可以帮助开发更安全的自动驾驶系统，并提升交通仿真的真实感和有效性。未来，该技术可能推动智能交通的进一步发展，改善城市交通管理。
📄 摘要（原文）
Evaluating autonomous vehicle stacks (AVs) in simulation typically involves replaying driving logs from real-world recorded traffic. However, agents replayed from offline data are not reactive and hard to intuitively control. Existing approaches address these challenges by proposing methods that rely on heuristics or generative models of real-world data but these approaches either lack realism or necessitate costly iterative sampling procedures to control the generated behaviours. In this work, we take an alternative approach and propose CtRL-Sim, a method that leverages return-conditioned offline reinforcement learning (RL) to efficiently generate reactive and controllable traffic agents. Specifically, we process real-world driving data through a physics-enhanced Nocturne simulator to generate a diverse offline RL dataset, annotated with various rewards. With this dataset, we train a return-conditioned multi-agent behaviour model that allows for fine-grained manipulation of agent behaviours by modifying the desired returns for the various reward components. This capability enables the generation of a wide range of driving behaviours beyond the scope of the initial dataset, including adversarial behaviours. We show that CtRL-Sim can generate realistic safety-critical scenarios while providing fine-grained control over agent behaviours.