Adv3D: Generating Safety-Critical 3D Objects through Closed-Loop Simulation
作者: Jay Sarva, Jingkang Wang, James Tu, Yuwen Xiong, Sivabalan Manivasagam, Raquel Urtasun
分类: cs.RO, cs.CV, cs.LG
发布日期: 2023-11-02
备注: CoRL 2023. Project page: https://waabi.ai/adv3d/
💡 一句话要点
提出Adv3D框架以解决自动驾驶车辆安全评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 自动驾驶 闭环仿真 安全评估 形状优化 自主系统
📋 核心要点
- 现有方法主要集中在运动规划模块的测试，未能全面评估自动驾驶系统在不同传感器数据变化下的表现。
- Adv3D框架通过闭环传感器仿真，优化车辆形状以增加场景的挑战性，从而评估自主性能。
- 实验结果表明，Adv3D在闭环优化的形状变化比开放式测试更有效，显著提升了对自主性能的影响评估。
📝 摘要（中文）
自动驾驶车辆（SDVs）必须在多种场景下进行严格测试，以确保安全部署。现有方法主要测试运动规划模块，忽视了传感器数据变化对系统性能的影响。本文提出的Adv3D框架通过闭环传感器仿真评估自主性能，并优化车辆形状以增加场景挑战性，从而导致自主失败和不舒适的驾驶行为。与以往仅在车顶或路边添加对抗形状的研究不同，Adv3D优化了低维形状表示，能够以更现实的方式修改车辆形状，显著提升了闭环测试的有效性。
🔬 方法详解
问题定义：本文旨在解决自动驾驶车辆在多样化场景下的安全评估问题。现有方法多集中于运动规划模块，未能充分考虑传感器数据变化对整体自主性能的影响。
核心思路：Adv3D框架通过闭环仿真评估车辆在真实场景中的表现，优化车辆形状以增加挑战性，从而导致自主系统的失败和不适当的驾驶行为。此设计旨在全面评估自主系统的表现，而不仅仅是运动规划。
技术框架：Adv3D的整体架构包括场景采集、闭环传感器仿真、形状优化和性能评估四个主要模块。首先，采集真实场景数据，然后在闭环中进行传感器仿真，接着优化车辆形状，最后评估自主性能。
关键创新：Adv3D的主要创新在于优化低维形状表示以修改车辆形状，进而影响自主性能。这与以往研究中仅在车顶或路边添加对抗形状的方式截然不同，提供了更现实的挑战。
关键设计：在设计中，采用了特定的损失函数来衡量形状变化对性能的影响，并通过优化算法调整形状参数，以确保在闭环仿真中获得有效的评估结果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Adv3D优化的形状变化在闭环测试中显著提高了对自主性能的影响评估，相较于开放式测试，性能提升幅度达到XX%（具体数据待补充），证明了该方法的有效性和创新性。
🎯 应用场景
Adv3D框架在自动驾驶车辆的安全性评估中具有重要应用潜力。通过优化车辆形状以增加场景挑战性，该方法能够帮助开发更安全的自动驾驶系统，减少在真实环境中可能出现的事故风险。未来，该技术可扩展至其他领域，如机器人导航和智能交通系统的安全评估。
📄 摘要（原文）
Self-driving vehicles (SDVs) must be rigorously tested on a wide range of scenarios to ensure safe deployment. The industry typically relies on closed-loop simulation to evaluate how the SDV interacts on a corpus of synthetic and real scenarios and verify it performs properly. However, they primarily only test the system's motion planning module, and only consider behavior variations. It is key to evaluate the full autonomy system in closed-loop, and to understand how variations in sensor data based on scene appearance, such as the shape of actors, affect system performance. In this paper, we propose a framework, Adv3D, that takes real world scenarios and performs closed-loop sensor simulation to evaluate autonomy performance, and finds vehicle shapes that make the scenario more challenging, resulting in autonomy failures and uncomfortable SDV maneuvers. Unlike prior works that add contrived adversarial shapes to vehicle roof-tops or roadside to harm perception only, we optimize a low-dimensional shape representation to modify the vehicle shape itself in a realistic manner to degrade autonomy performance (e.g., perception, prediction, and motion planning). Moreover, we find that the shape variations found with Adv3D optimized in closed-loop are much more effective than those in open-loop, demonstrating the importance of finding scene appearance variations that affect autonomy in the interactive setting.