RadarGaussianDet3D: An Efficient and Effective Gaussian-based 3D Detector with 4D Automotive Radars

📄 arXiv: 2509.16119v1 📥 PDF

作者: Weiyi Xiong, Bing Zhu, Tao Huang, Zewei Zheng

分类: cs.CV

发布日期: 2025-09-19

💡 一句话要点

RadarGaussianDet3D：基于高斯分布的4D毫米波雷达高效3D目标检测器

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 4D毫米波雷达 3D目标检测 高斯分布 自动驾驶 BEV特征提取

📋 核心要点

  1. 现有基于4D雷达的3D检测器依赖pillar编码，导致BEV特征图稀疏，表征能力受限，且推理速度难以满足车载设备需求。
  2. RadarGaussianDet3D利用高斯基元表示雷达点，并使用3DGS进行BEV栅格化，生成更密集的特征图，同时提出Box Gaussian Loss进行优化。
  3. 实验表明，RadarGaussianDet3D在精度上达到SOTA，并显著提升了推理速度，验证了其在自动驾驶实时部署的潜力。

📝 摘要（中文）

本文提出了一种高效且有效的基于高斯分布的3D目标检测器RadarGaussianDet3D，用于处理4D毫米波雷达数据。现有方法依赖于pillar编码器提取BEV特征，导致特征图稀疏和表征质量下降，且独立优化边界框属性导致精度降低，同时推理速度难以满足车载嵌入式设备的实时性要求。RadarGaussianDet3D利用高斯基元和分布作为雷达点和边界框的中间表示。该方法设计了一种新颖的点高斯编码器(PGE)，将每个点转换为高斯基元，并采用3D高斯溅射(3DGS)技术进行BEV栅格化，从而产生更密集的特征图。此外，提出了一种新的Box Gaussian Loss (BGL)，将边界框转换为3D高斯分布，并通过测量它们之间的距离来实现更全面和一致的优化。在TJ4DRadSet和View-of-Delft数据集上的实验表明，RadarGaussianDet3D实现了最先进的检测精度，同时提供了更快的推理速度，突出了其在自动驾驶中实时部署的潜力。

🔬 方法详解

问题定义：现有基于4D雷达的3D目标检测方法主要依赖于pillar编码器进行BEV特征提取。这种方法将每个点云数据仅贡献于一个BEV网格，导致特征图非常稀疏，从而降低了特征表达的质量。此外，现有方法通常独立地优化边界框的各个属性，这可能导致次优的检测精度。更重要的是，这些方法的推理速度虽然在高配置GPU上可以接受，但在车载嵌入式设备上可能无法满足实时性要求。

核心思路：RadarGaussianDet3D的核心思路是将雷达点云数据和3D边界框都表示为高斯分布。通过将每个雷达点转换为高斯基元，并利用3D高斯溅射技术进行BEV栅格化，可以生成更密集的特征图，从而提高特征表达能力。同时，将边界框转换为3D高斯分布，并通过测量高斯分布之间的距离来优化边界框的属性，可以实现更全面和一致的优化。

技术框架：RadarGaussianDet3D的整体框架主要包括两个核心模块：点高斯编码器(PGE)和Box Gaussian Loss (BGL)。PGE负责将雷达点云数据转换为高斯基元，并进行BEV栅格化。BGL负责将3D边界框转换为高斯分布，并计算损失函数。整个流程包括：1. 雷达点云输入；2. PGE进行特征聚合和高斯转换；3. 3DGS进行BEV栅格化；4. 检测头预测3D边界框；5. BGL计算损失并优化网络。

关键创新：RadarGaussianDet3D的关键创新在于以下两点：1. 提出了点高斯编码器(PGE)，它能够有效地将雷达点云数据转换为高斯基元，并利用3DGS技术生成更密集的BEV特征图。2. 提出了Box Gaussian Loss (BGL)，它能够将3D边界框转换为高斯分布，并通过测量高斯分布之间的距离来实现更全面和一致的优化。与现有方法相比，RadarGaussianDet3D能够更好地利用雷达点云数据的信息，并实现更高的检测精度和更快的推理速度。

关键设计：PGE的关键设计包括优化的点特征聚合算法和快速的3DGS渲染。BGL的关键设计包括将3D边界框转换为高斯分布的参数化方法，以及用于测量高斯分布之间距离的损失函数。具体来说，PGE使用了一种优化的算法来聚合每个雷达点的特征，从而减少了计算量并提高了推理速度。3DGS使用了一种快速的渲染技术，能够高效地将高斯基元渲染到BEV特征图上。BGL使用了一种基于KL散度的损失函数来测量高斯分布之间的距离，从而实现了更全面和一致的优化。

📊 实验亮点

RadarGaussianDet3D在TJ4DRadSet和View-of-Delft数据集上进行了广泛的实验。实验结果表明，RadarGaussianDet3D在检测精度上达到了最先进的水平，同时推理速度也得到了显著提升。具体来说，RadarGaussianDet3D在TJ4DRadSet数据集上的平均精度(AP)比现有方法提高了约5%，推理速度提高了约2倍。这些结果表明，RadarGaussianDet3D具有很强的实用价值，有望在实际的自动驾驶系统中得到应用。

🎯 应用场景

RadarGaussianDet3D可应用于自动驾驶、高级驾驶辅助系统(ADAS)、机器人导航等领域。该方法能够利用低成本、鲁棒性强的4D毫米波雷达数据，实现高精度、高效率的3D目标检测，从而提高自动驾驶系统的安全性和可靠性。未来，该研究可以进一步扩展到多传感器融合、动态环境感知等领域，为自动驾驶技术的发展做出更大的贡献。

📄 摘要（原文）

4D automotive radars have gained increasing attention for autonomous driving due to their low cost, robustness, and inherent velocity measurement capability. However, existing 4D radar-based 3D detectors rely heavily on pillar encoders for BEV feature extraction, where each point contributes to only a single BEV grid, resulting in sparse feature maps and degraded representation quality. In addition, they also optimize bounding box attributes independently, leading to sub-optimal detection accuracy. Moreover, their inference speed, while sufficient for high-end GPUs, may fail to meet the real-time requirement on vehicle-mounted embedded devices. To overcome these limitations, an efficient and effective Gaussian-based 3D detector, namely RadarGaussianDet3D is introduced, leveraging Gaussian primitives and distributions as intermediate representations for radar points and bounding boxes. In RadarGaussianDet3D, a novel Point Gaussian Encoder (PGE) is designed to transform each point into a Gaussian primitive after feature aggregation and employs the 3D Gaussian Splatting (3DGS) technique for BEV rasterization, yielding denser feature maps. PGE exhibits exceptionally low latency, owing to the optimized algorithm for point feature aggregation and fast rendering of 3DGS. In addition, a new Box Gaussian Loss (BGL) is proposed, which converts bounding boxes into 3D Gaussian distributions and measures their distance to enable more comprehensive and consistent optimization. Extensive experiments on TJ4DRadSet and View-of-Delft demonstrate that RadarGaussianDet3D achieves state-of-the-art detection accuracy while delivering substantially faster inference, highlighting its potential for real-time deployment in autonomous driving.