TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras

📄 arXiv: 2401.08474v2 📥 PDF

作者: Christian Creß, Walter Zimmer, Nils Purschke, Bach Ngoc Doan, Sven Kirchner, Venkatnarayanan Lakshminarasimhan, Leah Strand, Alois C. Knoll

分类: cs.CV

发布日期: 2024-01-16 (更新: 2024-03-09)

备注: 18 pages, 10 figures, 6 tables. This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出目标无关的标定与融合方法以解决道路事件监测问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 事件摄像头 RGB摄像头 目标无关标定 数据融合 智能交通系统 多模态融合 时空融合 交通监测

📋 核心要点

  1. 现有方法无法处理多个移动物体的目标无关标定，且缺乏针对路边ITS的数据融合方案。
  2. 本文提出了一种扩展的目标无关标定方法，结合聚类技术以处理多个移动物体，并开发了多种融合策略。
  3. 实验结果显示，与单一RGB摄像头相比，使用事件传感器融合方法，白天和夜间的检测性能分别提高了9%和13%。

📝 摘要（中文）

事件摄像头非常适合智能交通系统（ITS），因其具有极高的时间分辨率和动态范围，可以消除运动模糊并提高夜间检测性能。然而，事件图像缺乏传统RGB摄像头的颜色和纹理。为此，数据融合可以结合两种模态的优势。本文提出了一种新的目标无关标定方法，能够处理多个移动物体，并开发了早期融合、简单晚期融合和新颖的时空晚期融合方法。我们发布的TUMTraf Event数据集包含超过4111张同步的事件和RGB图像，标注了50496个2D框。实验结果表明，使用我们的融合方法，白天检测性能提高了9%，夜间提高了13%。

🔬 方法详解

问题定义：本文旨在解决事件摄像头与RGB摄像头之间的目标无关标定问题，现有方法无法有效处理多个移动物体，且缺乏针对路边ITS的优化数据融合方案。

核心思路：通过扩展目标无关标定方法，引入聚类技术以处理多个移动物体，同时开发早期融合、简单晚期融合和时空晚期融合方法，以充分利用两种摄像头的优势。

技术框架：整体架构包括三个主要模块：目标无关标定模块、数据融合模块和实验验证模块。标定模块负责处理多个移动物体的标定，融合模块则实现不同模态数据的结合，最后通过实验验证方法的有效性。

关键创新：最重要的创新在于提出了一种能够处理多个移动物体的目标无关标定方法，并设计了新颖的时空晚期融合策略，这与现有方法的单一标定和融合策略形成了显著区别。

关键设计：在参数设置上，聚类算法用于识别和处理多个移动物体，损失函数设计考虑了标定精度和融合效果的平衡，网络结构则结合了事件数据和RGB数据的特征提取模块，以实现高效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用本文提出的事件传感器融合方法，白天的检测性能提升了9%，夜间提升了13%。与单一RGB摄像头相比，融合方法在复杂环境下的表现显著提高，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶汽车和城市监控等。通过提高事件摄像头与RGB摄像头的数据融合能力，可以显著提升交通监测、事故检测和夜间行驶安全等方面的实际价值，未来可能推动相关技术的广泛应用与发展。

📄 摘要（原文）

Event-based cameras are predestined for Intelligent Transportation Systems (ITS). They provide very high temporal resolution and dynamic range, which can eliminate motion blur and improve detection performance at night. However, event-based images lack color and texture compared to images from a conventional RGB camera. Considering that, data fusion between event-based and conventional cameras can combine the strengths of both modalities. For this purpose, extrinsic calibration is necessary. To the best of our knowledge, no targetless calibration between event-based and RGB cameras can handle multiple moving objects, nor does data fusion optimized for the domain of roadside ITS exist. Furthermore, synchronized event-based and RGB camera datasets considering roadside perspective are not yet published. To fill these research gaps, based on our previous work, we extended our targetless calibration approach with clustering methods to handle multiple moving objects. Furthermore, we developed an early fusion, simple late fusion, and a novel spatiotemporal late fusion method. Lastly, we published the TUMTraf Event Dataset, which contains more than 4,111 synchronized event-based and RGB images with 50,496 labeled 2D boxes. During our extensive experiments, we verified the effectiveness of our calibration method with multiple moving objects. Furthermore, compared to a single RGB camera, we increased the detection performance of up to +9 % mAP in the day and up to +13 % mAP during the challenging night with our presented event-based sensor fusion methods. The TUMTraf Event Dataset is available at https://innovation-mobility.com/tumtraf-dataset.