RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features

📄 arXiv: 2403.05061v3 📥 PDF

作者: Geonho Bang, Kwangjin Choi, Jisong Kim, Dongsuk Kum, Jun Won Choi

分类: cs.CV

发布日期: 2024-03-08 (更新: 2025-02-26)

备注: Accepted to CVPR 2024. Code available at https://github.com/geonhobang/RadarDistill

💡 一句话要点

提出RadarDistill以提升雷达物体检测性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 雷达物体检测 知识蒸馏 LiDAR特征 跨模态对齐 特征蒸馏 自动驾驶 多模态融合

📋 核心要点

  1. 雷达数据的噪声和稀疏性使得3D物体检测的有效表示变得困难，现有方法在性能上存在不足。
  2. RadarDistill通过知识蒸馏技术，将LiDAR特征的优势转移到雷达特征中，采用跨模态对齐、激活基特征蒸馏和提议基特征蒸馏三大组件。
  3. 在nuScenes数据集上的实验结果显示，RadarDistill在雷达单独物体检测任务中取得了20.5%的mAP和43.7%的NDS，显著提升了相机-雷达融合模型的性能。

📝 摘要（中文）

雷达数据固有的噪声和稀疏特性给3D物体检测带来了挑战。本文提出了一种新颖的知识蒸馏方法RadarDistill，通过利用LiDAR数据来改善雷达数据的表示。RadarDistill通过三个关键组件成功地将LiDAR特征的优良特性转移到雷达特征中：跨模态对齐（CMA）、基于激活的特征蒸馏（AFD）和基于提议的特征蒸馏（PFD）。CMA通过多层膨胀操作增强雷达特征的密度，有效解决了从LiDAR到雷达的知识转移效率低下的问题。AFD根据LiDAR特征的激活强度选择性地转移知识，而PFD则引导雷达网络在物体提议中选择性地模仿LiDAR网络的特征。实验结果表明，RadarDistill在nuScenes数据集上实现了雷达单独物体检测任务的最新性能，mAP达到20.5%，NDS达到43.7%。

🔬 方法详解

问题定义：本文旨在解决雷达数据在3D物体检测中由于噪声和稀疏性导致的表示不足问题。现有方法在从LiDAR到雷达的知识转移上效率低下，影响了检测性能。

核心思路：RadarDistill的核心思路是通过知识蒸馏技术，将LiDAR特征的优良表示转移到雷达特征中，从而提升雷达数据的有效性和准确性。通过设计多个组件，增强了知识转移的效率和效果。

技术框架：RadarDistill的整体架构包括三个主要模块：跨模态对齐（CMA）、基于激活的特征蒸馏（AFD）和基于提议的特征蒸馏（PFD）。CMA负责增强雷达特征的密度，AFD根据激活强度选择性转移知识，PFD则在物体提议中指导雷达网络模仿LiDAR特征。

关键创新：RadarDistill的关键创新在于通过CMA、AFD和PFD三大组件实现了高效的知识转移，显著提升了雷达特征的表示能力。这一方法与现有的直接特征提取方法相比，能够更好地利用LiDAR数据的优势。

关键设计：在设计中，CMA采用多层膨胀操作以增强特征密度，AFD设定了激活强度阈值以选择性转移知识，PFD则通过物体提议引导雷达网络模仿LiDAR特征。这些设计细节确保了知识转移的有效性和针对性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RadarDistill在nuScenes数据集上实现了20.5%的mAP和43.7%的NDS，成为雷达单独物体检测任务的最新性能标杆。此外，该方法显著提升了相机-雷达融合模型的检测效果，展示了其在多模态融合中的实际应用价值。

🎯 应用场景

RadarDistill的研究成果在自动驾驶、智能交通系统和机器人导航等领域具有广泛的应用潜力。通过提升雷达数据的物体检测性能，该方法能够增强自动驾驶系统的安全性和可靠性，推动多模态传感器融合技术的发展。未来，随着技术的进一步完善，RadarDistill可能会在更多复杂环境下的实时物体检测中发挥重要作用。

📄 摘要（原文）

The inherent noisy and sparse characteristics of radar data pose challenges in finding effective representations for 3D object detection. In this paper, we propose RadarDistill, a novel knowledge distillation (KD) method, which can improve the representation of radar data by leveraging LiDAR data. RadarDistill successfully transfers desirable characteristics of LiDAR features into radar features using three key components: Cross-Modality Alignment (CMA), Activation-based Feature Distillation (AFD), and Proposal-based Feature Distillation (PFD). CMA enhances the density of radar features by employing multiple layers of dilation operations, effectively addressing the challenge of inefficient knowledge transfer from LiDAR to radar. AFD selectively transfers knowledge based on regions of the LiDAR features, with a specific focus on areas where activation intensity exceeds a predefined threshold. PFD similarly guides the radar network to selectively mimic features from the LiDAR network within the object proposals. Our comparative analyses conducted on the nuScenes datasets demonstrate that RadarDistill achieves state-of-the-art (SOTA) performance for radar-only object detection task, recording 20.5% in mAP and 43.7% in NDS. Also, RadarDistill significantly improves the performance of the camera-radar fusion model.