Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection

📄 arXiv: 2402.18493v1 📥 PDF

作者: Xun Huang, Hai Wu, Xin Li, Xiaoliang Fan, Chenglu Wen, Cheng Wang

分类: cs.CV

发布日期: 2024-02-28

备注: Accepted by AAAI2024

💡 一句话要点

提出DRET与SRKD以解决雨天3D目标检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D目标检测 雨水模拟 知识蒸馏 鲁棒性提升 LiDAR技术 自动驾驶 环境感知

📋 核心要点

  1. 现有的LiDAR-based 3D目标检测模型在雨天条件下表现不佳，主要由于信号降级和噪声影响。
  2. 本文提出DRET雨水模拟方法和SRKD知识蒸馏方法，旨在提高雨天3D检测的鲁棒性。
  3. 实验结果显示，结合DSVT模型后，检测精度显著提升，且在晴天条件下也有改善。

📝 摘要（中文）

基于LiDAR的3D目标检测模型在雨天条件下通常面临扫描信号降级和噪声干扰的问题。以往研究通过模拟雨水噪声来提升模型的鲁棒性，但模拟数据与实际雨天数据存在显著差异。本文提出了一种新颖的雨水模拟方法DRET，结合动力学与雨天环境理论，为3D检测训练提供了一种经济有效的真实雨数据扩展方式。此外，我们还提出了Sunny-to-Rainy知识蒸馏(SRKD)方法，以增强雨天条件下的3D检测能力。在WaymoOpenDataset大规模数据集上的广泛实验表明，结合最先进的DSVT模型及其他经典3D检测器，我们的框架在检测精度上显著提升，同时保持了效率。值得注意的是，该框架在晴天条件下也提升了检测能力，从而为3D检测提供了一种无论天气如何均具鲁棒性的解决方案。

🔬 方法详解

问题定义：本文旨在解决基于LiDAR的3D目标检测模型在雨天条件下的鲁棒性不足问题。现有方法主要依赖于模拟雨水噪声，但模拟数据与实际雨天数据存在显著差异，导致检测性能下降。

核心思路：我们提出了一种新颖的雨水模拟方法DRET，结合动力学与雨天环境理论，提供了一种经济有效的真实雨数据扩展方式。同时，Sunny-to-Rainy知识蒸馏(SRKD)方法用于提升模型在雨天的检测能力。

技术框架：整体架构包括两个主要模块：DRET用于生成真实雨数据，SRKD用于知识蒸馏。DRET通过模拟雨水对LiDAR信号的影响，生成更具代表性的训练数据；SRKD则通过将晴天模型的知识转移到雨天模型中，增强其鲁棒性。

关键创新：最重要的技术创新在于DRET的设计，它有效地将雨天环境的动态特性与信号降噪结合起来，显著提升了训练数据的真实性和有效性。SRKD方法则通过知识蒸馏技术，提升了模型在不同天气条件下的适应能力。

关键设计：在DRET中，采用了特定的参数设置以模拟雨滴对LiDAR信号的影响，并设计了相应的损失函数来优化生成的数据质量。在SRKD中，使用了多层次的知识蒸馏策略，以确保模型在雨天条件下的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合DSVT模型后，检测精度在雨天条件下提高了显著的百分比，且在晴天条件下也实现了性能提升。具体数据未提供，但整体框架在多种天气条件下均表现出色，展示了其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和无人机导航等，特别是在复杂天气条件下的环境感知任务。通过提升3D目标检测的鲁棒性，能够显著提高这些系统在实际应用中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

LiDAR-based 3D object detection models have traditionally struggled under rainy conditions due to the degraded and noisy scanning signals. Previous research has attempted to address this by simulating the noise from rain to improve the robustness of detection models. However, significant disparities exist between simulated and actual rain-impacted data points. In this work, we propose a novel rain simulation method, termed DRET, that unifies Dynamics and Rainy Environment Theory to provide a cost-effective means of expanding the available realistic rain data for 3D detection training. Furthermore, we present a Sunny-to-Rainy Knowledge Distillation (SRKD) approach to enhance 3D detection under rainy conditions. Extensive experiments on the WaymoOpenDataset large-scale dataset show that, when combined with the state-of-the-art DSVT model and other classical 3D detectors, our proposed framework demonstrates significant detection accuracy improvements, without losing efficiency. Remarkably, our framework also improves detection capabilities under sunny conditions, therefore offering a robust solution for 3D detection regardless of whether the weather is rainy or sunny