Post Fusion Bird's Eye View Feature Stabilization for Robust Multimodal 3D Detection

📄 arXiv: 2603.05623v1 📥 PDF

作者: Trung Tien Dong, Dev Thakkar, Arman Sargolzaei, Xiaomin Lin

分类: cs.CV, cs.AI

发布日期: 2026-03-05

💡 一句话要点

提出后融合稳定器PFS，提升多模态3D检测在域偏移和传感器失效下的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 3D目标检测 鲁棒性 域偏移 传感器失效 后融合 鸟瞰图 自动驾驶

📋 核心要点

  1. 现有BEV融合检测器在域偏移和传感器失效时性能下降，且现有鲁棒性方法难以集成到已部署系统中。
  2. 论文提出后融合稳定器（PFS），通过稳定特征统计、抑制受损区域和残差校正来提升鲁棒性。
  3. 实验表明，PFS在相机丢失和低光照等场景下显著提升了检测性能，且参数量仅为3.3M。

📝 摘要（中文）

相机-激光雷达融合广泛应用于自动驾驶，以实现精确的3D目标检测。然而，鸟瞰图（BEV）融合检测器在域偏移和传感器故障下性能会显著下降，限制了其在实际部署中的可靠性。现有的鲁棒性方法通常需要修改融合架构或重新训练专用模型，难以集成到已部署的系统中。我们提出了一种后融合稳定器（PFS），这是一个轻量级模块，作用于现有检测器的中间BEV表示，并为原始检测头生成精细化的特征图。该设计稳定了域偏移下的特征统计，抑制了受传感器退化影响的空间区域，并通过残差校正自适应地恢复减弱的线索。PFS被设计为接近恒等变换，在保持性能的同时，提高了在各种相机和激光雷达损坏下的鲁棒性。在nuScenes基准上的评估表明，PFS在几种故障模式下实现了最先进的结果，尤其是在相机丢失鲁棒性方面提高了+1.2% mAP，在低光性能方面提高了+4.4% mAP，同时保持了仅3.3M参数的轻量级占用。

🔬 方法详解

问题定义：论文旨在解决多模态3D目标检测在实际自动驾驶场景中，由于域偏移（domain shift）和传感器失效（sensor failure）导致的性能下降问题。现有方法通常需要修改融合架构或重新训练模型，这对于已经部署的系统来说成本较高且难以实施。因此，需要一种轻量级、易于集成且能有效提升鲁棒性的方法。

核心思路：论文的核心思路是在现有检测器的BEV特征融合之后，添加一个后融合稳定器（Post Fusion Stabilizer, PFS）。PFS模块通过稳定特征统计、抑制受损区域和自适应恢复弱化特征来提升整体的鲁棒性。PFS被设计成一个接近恒等变换的模块，以保证在正常情况下不会显著影响原有检测器的性能。

技术框架：整体框架包含一个现有的BEV融合检测器和一个PFS模块。首先，输入数据经过BEV融合检测器，得到中间BEV特征表示。然后，该特征表示输入到PFS模块中进行处理。PFS模块主要包含三个子模块：特征统计稳定模块（Feature Statistics Stabilization）、空间区域抑制模块（Spatial Region Suppression）和残差校正模块（Residual Correction）。最后，PFS模块输出精细化的BEV特征图，用于原始检测头的目标检测。

关键创新：论文的关键创新在于提出了一个轻量级的后融合稳定器（PFS），它可以在不修改现有检测器架构或重新训练模型的情况下，显著提升多模态3D检测在域偏移和传感器失效情况下的鲁棒性。PFS模块通过稳定特征统计、抑制受损区域和自适应恢复弱化特征，有效地解决了现有方法难以兼顾性能和鲁棒性的问题。

关键设计：PFS模块的关键设计包括：1) 特征统计稳定模块，通过自适应地调整特征的均值和方差来稳定特征分布；2) 空间区域抑制模块，利用注意力机制来抑制受传感器退化影响的区域；3) 残差校正模块，通过学习残差来恢复被抑制或弱化的特征。PFS被设计成一个接近恒等变换的模块，以保证在正常情况下不会显著影响原有检测器的性能。损失函数方面，论文可能采用了标准的3D目标检测损失函数，并可能添加了正则化项来约束PFS模块的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PFS在nuScenes数据集上取得了显著的性能提升。在相机丢失（camera dropout）的情况下，mAP提升了1.2%。在低光照（low-light）环境下，mAP提升了4.4%。同时，PFS模块的参数量仅为3.3M，计算开销小，易于部署。这些结果表明，PFS在提升鲁棒性的同时，保持了轻量级的特点。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、智能交通等领域。通过提升多模态3D检测在恶劣环境和传感器故障下的鲁棒性，可以提高自动驾驶系统的安全性和可靠性，降低事故风险。此外，该方法易于集成到现有系统中，具有很高的实际应用价值和推广潜力。

📄 摘要（原文）

Camera-LiDAR fusion is widely used in autonomous driving to enable accurate 3D object detection. However, bird's-eye view (BEV) fusion detectors can degrade significantly under domain shift and sensor failures, limiting reliability in real-world deployment. Existing robustness approaches often require modifying the fusion architecture or retraining specialized models, making them difficult to integrate into already deployed systems. We propose a Post Fusion Stabilizer (PFS), a lightweight module that operates on intermediate BEV representations of existing detectors and produces a refined feature map for the original detection head. The design stabilizes feature statistics under domain shift, suppresses spatial regions affected by sensor degradation, and adaptively restores weakened cues through residual correction. Designed as a near-identity transformation, PFS preserves performance while improving robustness under diverse camera and LiDAR corruptions. Evaluations on the nuScenes benchmark demonstrate that PFS achieves state-of-the-art results in several failure modes, notably improving camera dropout robustness by +1.2% and low-light performance by +4.4% mAP while maintaining a lightweight footprint of only 3.3 M parameters.