A 360-degree Multi-camera System for Blue Emergency Light Detection Using Color Attention RT-DETR and the ABLDataset

📄 arXiv: 2603.05058v1 📥 PDF

作者: Francisco Vacalebri-Lloret, Lucas Banchero, Jose J. Lopez, Jose M. Mossi

分类: cs.CV, cs.AI, eess.IV

发布日期: 2026-03-05

备注: 16 pages, 17 figures. Submitted to IEEE Transactions on Intelligent Vehicles

💡 一句话要点

提出基于颜色注意力机制的RT-DETR，用于360度多摄像头系统下的蓝色紧急车辆灯光检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 紧急车辆检测 蓝色灯光检测 RT-DETR 颜色注意力机制 多摄像头系统 ADAS 目标检测

📋 核心要点

  1. 现有方法在复杂环境下的紧急车辆灯光检测精度不足，且缺乏针对欧洲特定车辆和环境的数据集。
  2. 该研究提出了一种基于多摄像头和颜色注意力机制的RT-DETR模型，提升了蓝色紧急灯光检测的准确性和鲁棒性。
  3. 实验结果表明，该系统在ABLDataset数据集上取得了优异的性能，并在实际道路测试中表现出良好的检测距离。

📝 摘要（中文）

本研究提出了一种先进的蓝色紧急车辆灯光检测系统，该系统基于ABLDataset数据集开发，该数据集包含欧洲紧急车辆在各种气候和地理条件下的图像。该系统采用四个鱼眼摄像头，每个摄像头具有180度的水平视野，安装在车辆的侧面。通过标定过程实现检测结果的方位角定位。此外，还对主流的深度神经网络算法进行了比较分析，包括YOLO（v5、v8和v10）、RetinaNet、Faster R-CNN和RT-DETR。最终选择RT-DETR作为基础模型，并通过加入颜色注意力模块进行增强，在测试集上实现了94.7%的准确率和94.1%的召回率，现场测试检测距离达到70米。此外，该系统还使用几何变换估计紧急车辆相对于车辆中心的接近角度。该系统设计用于集成到结合视觉和声学数据的多模态系统中，已证明具有很高的效率，为增强高级驾驶辅助系统（ADAS）和道路安全提供了一种有前景的方法。

🔬 方法详解

问题定义：现有紧急车辆检测系统在复杂光照、天气和遮挡条件下，对蓝色警示灯的检测精度和鲁棒性不足。此外，缺乏针对欧洲特定紧急车辆类型和地理环境的数据集，限制了算法的泛化能力。传统方法难以有效利用颜色信息，容易受到环境干扰。

核心思路：本研究的核心思路是利用多摄像头系统提供360度全方位视野，结合颜色注意力机制增强RT-DETR模型对蓝色警示灯的特征提取能力。通过颜色注意力机制，模型可以更加关注图像中与蓝色相关的区域，从而提高检测精度和鲁棒性。

技术框架：该系统主要包含以下几个模块：1) 多摄像头图像采集：使用四个鱼眼摄像头获取车辆周围360度的图像信息。2) 摄像头标定：对摄像头进行标定，实现检测结果的方位角定位。3) 基于颜色注意力机制的RT-DETR模型：使用RT-DETR作为基础模型，并加入颜色注意力模块，用于蓝色警示灯的检测。4) 几何变换：估计紧急车辆相对于车辆中心的接近角度。5) 多模态融合（未来）：计划将视觉数据与声学数据融合，进一步提高系统性能。

关键创新：该研究的关键创新点在于：1) 提出了基于颜色注意力机制的RT-DETR模型，有效提升了蓝色警示灯的检测精度。2) 构建了ABLDataset数据集，为欧洲紧急车辆检测提供了高质量的数据支持。3) 采用多摄像头系统，实现了360度全方位的检测覆盖。

关键设计：颜色注意力模块的具体实现细节未知，论文中未详细描述。RT-DETR模型的参数设置和损失函数选择可能经过了针对性调整，但具体细节也未在论文中明确说明。多摄像头系统的标定方法和几何变换的具体公式也未提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该系统在ABLDataset测试集上取得了94.7%的准确率和94.1%的召回率，显著优于其他主流目标检测算法，如YOLO系列、RetinaNet和Faster R-CNN。现场测试表明，该系统能够有效检测70米以外的紧急车辆，证明了其在实际应用中的可行性。

🎯 应用场景

该研究成果可应用于高级驾驶辅助系统（ADAS），提高道路安全。通过准确检测紧急车辆并估计其接近角度，系统可以提前预警驾驶员，避免交通事故。此外，该技术还可应用于智能交通管理系统，提升城市交通的整体效率和安全性。未来，结合声学信息的多模态系统将进一步扩展其应用范围。

📄 摘要（原文）

This study presents an advanced system for detecting blue lights on emergency vehicles, developed using ABLDataset, a curated dataset that includes images of European emergency vehicles under various climatic and geographic conditions. The system employs a configuration of four fisheye cameras, each with a 180-degree horizontal field of view, mounted on the sides of the vehicle. A calibration process enables the azimuthal localization of the detections. Additionally, a comparative analysis of major deep neural network algorithms was conducted, including YOLO (v5, v8, and v10), RetinaNet, Faster R-CNN, and RT-DETR. RT-DETR was selected as the base model and enhanced through the incorporation of a color attention block, achieving an accuracy of 94.7 percent and a recall of 94.1 percent on the test set, with field test detections reaching up to 70 meters. Furthermore, the system estimates the approach angle of the emergency vehicle relative to the center of the car using geometric transformations. Designed for integration into a multimodal system that combines visual and acoustic data, this system has demonstrated high efficiency, offering a promising approach to enhancing Advanced Driver Assistance Systems (ADAS) and road safety.