Self-supervised Event-based Monocular Depth Estimation using Cross-modal Consistency

📄 arXiv: 2401.07218v1 📥 PDF

作者: Junyu Zhu, Lina Liu, Bofeng Jiang, Feng Wen, Hongbo Zhang, Wanlong Li, Yong Liu

分类: cs.CV

发布日期: 2024-01-14

备注: Accepted by IROS2023

💡 一句话要点

提出自监督事件摄像头单目深度估计框架EMoDepth以降低标注成本

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件摄像头 单目深度估计 自监督学习 跨模态一致性 多尺度特征融合

📋 核心要点

  1. 现有的监督单目深度估计方法依赖于昂贵且耗时的深度标注，限制了其应用。
  2. 本文提出的EMoDepth框架通过自监督学习和跨模态一致性来降低深度估计的标注成本。
  3. 在MVSEC和DSEC数据集上的实验结果显示，EMoDepth的准确性超越了现有的监督和无监督方法。

📝 摘要（中文）

事件摄像头是一种新型视觉传感器，能够捕捉每个像素的亮度变化并输出异步事件流。与传统摄像头相比，它在高速运动和复杂光照条件下具有更高的时间分辨率和动态范围。尽管已有多种监督单目深度估计方法，但深度标注成本高且耗时。为降低标注成本，本文提出了一种自监督的事件基础单目深度估计框架EMoDepth。该框架通过与事件对齐的强度帧之间的跨模态一致性来约束训练过程。在推理阶段，仅使用事件进行单目深度预测。此外，设计了多尺度跳跃连接架构，有效融合特征以进行深度估计，同时保持高推理速度。实验结果表明，EMoDepth在MVSEC和DSEC数据集上表现优于现有的监督事件基础和无监督帧基础方法。

🔬 方法详解

问题定义：本文旨在解决现有单目深度估计方法中高昂的深度标注成本问题。传统方法依赖于大量标注数据，限制了其在实际应用中的可行性。

核心思路：EMoDepth框架通过自监督学习机制，利用事件与强度帧之间的跨模态一致性进行训练，从而降低对标注数据的依赖。推理阶段仅使用事件数据进行深度预测，进一步简化了流程。

技术框架：EMoDepth的整体架构包括数据预处理、特征提取、跨模态一致性约束和深度预测模块。特征提取采用多尺度跳跃连接架构，以有效融合不同层次的特征。

关键创新：EMoDepth的主要创新在于引入自监督学习和跨模态一致性约束，使得深度估计不再依赖于昂贵的标注数据。这一方法在处理复杂场景时表现出更高的灵活性和准确性。

关键设计：在网络设计上，EMoDepth采用了多尺度跳跃连接结构，以保持高效的特征融合。同时，损失函数设计考虑了跨模态一致性，确保了训练过程的有效性和深度预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MVSEC和DSEC数据集上的实验结果表明，EMoDepth的深度估计准确性超过了现有的监督事件基础方法和无监督帧基础方法，具体性能提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

EMoDepth框架在机器人导航、自动驾驶、增强现实等领域具有广泛的应用潜力。其自监督学习的特性使得在缺乏标注数据的情况下，仍能实现高效的深度估计，推动了相关技术的实际应用和发展。

📄 摘要（原文）

An event camera is a novel vision sensor that can capture per-pixel brightness changes and output a stream of asynchronous ``events''. It has advantages over conventional cameras in those scenes with high-speed motions and challenging lighting conditions because of the high temporal resolution, high dynamic range, low bandwidth, low power consumption, and no motion blur. Therefore, several supervised monocular depth estimation from events is proposed to address scenes difficult for conventional cameras. However, depth annotation is costly and time-consuming. In this paper, to lower the annotation cost, we propose a self-supervised event-based monocular depth estimation framework named EMoDepth. EMoDepth constrains the training process using the cross-modal consistency from intensity frames that are aligned with events in the pixel coordinate. Moreover, in inference, only events are used for monocular depth prediction. Additionally, we design a multi-scale skip-connection architecture to effectively fuse features for depth estimation while maintaining high inference speed. Experiments on MVSEC and DSEC datasets demonstrate that our contributions are effective and that the accuracy can outperform existing supervised event-based and unsupervised frame-based methods.