Can Vehicle Motion Planning Generalize to Realistic Long-tail Scenarios?

📄 arXiv: 2404.07569v2 📥 PDF

作者: Marcel Hallgarten, Julian Zapata, Martin Stoll, Katrin Renz, Andreas Zell

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-04-11 (更新: 2024-09-04)

💡 一句话要点

提出interPlan基准以解决自动驾驶长尾场景问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 运动规划 长尾场景 大型语言模型 混合规划器 基准测试 安全性评估

📋 核心要点

  1. 现有的自动驾驶规划器在处理稀有和复杂交通场景时表现不足，难以保证安全性。
  2. 本文提出了interPlan基准，专注于评估规划器在边缘案例和挑战场景中的表现，结合LLM与规则规划器的混合方法。
  3. 实验结果表明，混合规划器在interPlan基准上表现优异，超越了现有的基于规则和学习的规划器。

📝 摘要（中文）

现实世界的自动驾驶系统必须在稀有且多样的交通场景中做出安全决策。当前的最先进规划器主要在nuScenes（开环）或nuPlan（闭环）等真实数据集上进行评估，尤其是nuPlan虽然基于真实数据且为闭环评估，但主要覆盖基本驾驶场景，难以判断规划器在稀有场景中的泛化能力。因此，本文提出了一种新型闭环基准interPlan，包含多个边缘案例和挑战性驾驶场景。我们评估了现有的最先进规划器，结果显示无论是基于规则的还是基于学习的规划器都无法安全地导航interPlan场景。我们还评估了一种仅基于大型语言模型（LLM）的规划器，并引入了一种新型混合规划器，将LLM行为规划器与基于规则的运动规划器结合，取得了在基准测试中的最佳性能。

🔬 方法详解

问题定义：本文旨在解决现有自动驾驶规划器在稀有和复杂交通场景中的泛化能力不足的问题。现有方法多依赖于基本场景的评估，无法有效应对长尾场景的挑战。

核心思路：提出interPlan基准，包含多种边缘案例和复杂场景，通过评估现有规划器的表现，探索基于大型语言模型（LLM）与规则规划器的混合方法，以提升安全性和泛化能力。

技术框架：整体架构包括数据收集、场景设计、规划器评估和结果分析四个主要模块。首先构建包含多样化场景的interPlan基准，然后对现有规划器进行评估，最后分析其在不同场景下的表现。

关键创新：最重要的技术创新在于引入了混合规划器，将LLM与传统规则规划器结合，形成了一种新的决策机制，显著提升了在复杂场景中的表现。

关键设计：在设计中，采用了特定的损失函数来平衡安全性与效率，同时优化了LLM的输入输出结构，以适应复杂场景的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，混合规划器在interPlan基准测试中表现优异，相较于传统的基于规则和学习的规划器，安全性和决策能力均有显著提升，具体性能数据未详述，但整体表现达到最先进水平。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提升规划器在复杂场景中的决策能力，能够有效提高自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。

📄 摘要（原文）

Real-world autonomous driving systems must make safe decisions in the face of rare and diverse traffic scenarios. Current state-of-the-art planners are mostly evaluated on real-world datasets like nuScenes (open-loop) or nuPlan (closed-loop). In particular, nuPlan seems to be an expressive evaluation method since it is based on real-world data and closed-loop, yet it mostly covers basic driving scenarios. This makes it difficult to judge a planner's capabilities to generalize to rarely-seen situations. Therefore, we propose a novel closed-loop benchmark interPlan containing several edge cases and challenging driving scenarios. We assess existing state-of-the-art planners on our benchmark and show that neither rule-based nor learning-based planners can safely navigate the interPlan scenarios. A recently evolving direction is the usage of foundation models like large language models (LLM) to handle generalization. We evaluate an LLM-only planner and introduce a novel hybrid planner that combines an LLM-based behavior planner with a rule-based motion planner that achieves state-of-the-art performance on our benchmark.