Learning Sampling Distribution and Safety Filter for Autonomous Driving with VQ-VAE and Differentiable Optimization

📄 arXiv: 2403.19461v2 📥 PDF

作者: Simon Idoko, Basant Sharma, Arun Kumar Singh

分类: cs.RO

发布日期: 2024-03-28 (更新: 2024-04-25)

💡 一句话要点

提出基于VQ-VAE的采样分布学习与安全过滤器以解决自动驾驶问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 自动驾驶 采样分布 VQ-VAE 安全过滤器 可微优化 多模态学习 碰撞避免

📋 核心要点

  1. 现有方法通常依赖手工设计的采样分布，无法有效捕捉多模态驾驶行为，导致性能不足。
  2. 本文提出使用VQ-VAE进行采样分布学习，并结合可微优化的安全过滤器以确保碰撞避免。
  3. 实验结果显示，在密集交通场景中，所提方法的碰撞率降低了12倍，同时保持了较高的行驶速度。

📝 摘要（中文）

在自动驾驶中，从分布中采样轨迹并根据特定成本函数对其进行排名是一种常见方法。传统的采样分布通常是手工设计的，如高斯分布或网格。近期的研究尝试通过生成模型（如条件变分自编码器CVAE）学习采样分布，但由于CVAE的高斯潜在先验，这些方法未能有效捕捉驾驶行为的多模态特性。本文通过向量量化变分自编码器（VQ-VAE）重新构想分布学习，利用其离散潜在空间有效捕捉多模态采样分布。我们进一步提出了一种基于可微优化的安全过滤器，最小化地修正VQ-VAE采样的轨迹以确保避免碰撞。通过自监督学习设置，我们使用反向传播优化层来学习良好的初始化和安全过滤器的最佳参数。实验表明，在密集和激烈的交通场景中，与最先进的CVAE基线相比，碰撞率降低了多达12倍，同时在行驶速度上保持竞争力。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中轨迹采样分布的学习问题，现有方法由于依赖高斯分布，无法有效捕捉多模态特性，导致碰撞风险增加。

核心思路：通过引入VQ-VAE，利用其离散潜在空间来学习多模态的采样分布，并结合可微优化的安全过滤器进行轨迹修正，以确保安全性。

技术框架：整体架构包括VQ-VAE模块用于采样分布学习，安全过滤器模块用于轨迹修正，采用自监督学习的方式进行参数优化。

关键创新：最重要的创新在于使用VQ-VAE替代CVAE，能够更好地捕捉多模态特性，并通过可微优化实现安全过滤，显著提升了碰撞避免能力。

关键设计：在VQ-VAE的训练中，使用了演示数据以优化轨迹，安全过滤器的设计采用了可微优化方法，确保在修正过程中能够有效避免碰撞，同时保持高效的计算性能。

📊 实验亮点

实验结果显示，所提方法在密集和激烈的交通场景中，碰撞率降低了多达12倍，相较于CVAE基线，行驶速度保持竞争力，展现出显著的性能提升。

🎯 应用场景

该研究在自动驾驶领域具有广泛的应用潜力，能够有效提升车辆在复杂交通环境中的安全性和行驶效率。未来，所提出的方法可扩展至其他需要实时决策的智能交通系统，推动智能交通技术的发展。

📄 摘要（原文）

Sampling trajectories from a distribution followed by ranking them based on a specified cost function is a common approach in autonomous driving. Typically, the sampling distribution is hand-crafted (e.g a Gaussian, or a grid). Recently, there have been efforts towards learning the sampling distribution through generative models such as Conditional Variational Autoencoder (CVAE). However, these approaches fail to capture the multi-modality of the driving behaviour due to the Gaussian latent prior of the CVAE. Thus, in this paper, we re-imagine the distribution learning through vector quantized variational autoencoder (VQ-VAE), whose discrete latent-space is well equipped to capture multi-modal sampling distribution. The VQ-VAE is trained with demonstration data of optimal trajectories. We further propose a differentiable optimization based safety filter to minimally correct the VQVAE sampled trajectories to ensure collision avoidance. We use backpropagation through the optimization layers in a self-supervised learning set-up to learn good initialization and optimal parameters of the safety filter. We perform extensive comparisons with state-of-the-art CVAE-based baseline in dense and aggressive traffic scenarios and show a reduction of up to 12 times in collision-rate while being competitive in driving speeds.