X-maps: Direct Depth Lookup for Event-based Structured Light Systems
作者: Wieland Morgenstern, Niklas Gard, Simon Baumann, Anna Hilsmann, Peter Eisert
分类: cs.CV
发布日期: 2024-02-15
备注: Accepted at the CVPR 2023 Workshop on Event-based Vision: https://tub-rip.github.io/eventvision2023/
期刊: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Vancouver, BC, Canada, 2023, pp. 4007-4015
DOI: 10.1109/CVPRW59228.2023.00418
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出X-maps以解决事件相机深度估计效率问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度估计 事件相机 空间增强现实 激光投影仪 实时交互 X-map 计算机视觉
📋 核心要点
- 现有的深度估计方法在效率和实时性方面存在不足，尤其是在动态场景下。
- 论文提出通过将投影仪时间映射转换为X-map，简化深度估计过程，实现直接视差查找。
- 实验结果表明，该方法在深度估计准确性上与传统方法相当，但在效率上有显著提升。
📝 摘要（中文）
本文提出了一种新的深度估计方法，旨在利用事件相机进行空间增强现实（SAR）应用的直接深度估计。通过将投影仪的时间映射转换为校正的X-map，捕捉x轴对应关系，从而实现无额外搜索的直接视差查找。与以往实现相比，这种方法显著简化了深度估计过程，提高了效率，同时保持了与基于时间映射的过程相似的准确性。此外，通过简单的时间映射校准补偿廉价激光投影仪的非线性时间行为，从而提升了性能和深度估计的准确性。该方法仅需两次查找，几乎可以瞬时执行（每帧少于3毫秒），使得实时交互和响应成为可能，特别适合低延迟、高帧率和直接反馈至关重要的SAR体验。
🔬 方法详解
问题定义：本文旨在解决事件相机与激光投影仪结合时深度估计效率低下的问题。现有方法通常需要复杂的搜索过程，导致实时性不足。
核心思路：通过将投影仪的时间映射转换为X-map，捕捉x轴的对应关系，从而实现直接的视差查找，避免了额外的搜索步骤。
技术框架：整体流程包括时间映射的转换、X-map的生成以及通过两次查找实现深度估计。主要模块包括事件捕获、X-map生成和深度计算。
关键创新：最重要的创新在于X-map的引入，使得深度估计过程简化为两次查找，与传统的时间映射方法相比，显著提高了效率。
关键设计：在设计中，采用了简单的时间映射校准来补偿激光投影仪的非线性行为，确保了深度估计的准确性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在深度估计方面的执行时间低于3毫秒，显著优于传统方法的实时性。同时，深度估计的准确性与基于时间映射的方法相当，展示了在效率和准确性上的平衡。
🎯 应用场景
该研究的潜在应用领域包括增强现实、虚拟现实和机器人导航等，能够为这些领域提供高效、实时的深度估计解决方案。随着技术的进步，未来可能在更多动态交互场景中得到应用，提升用户体验和系统性能。
📄 摘要（原文）
We present a new approach to direct depth estimation for Spatial Augmented Reality (SAR) applications using event cameras. These dynamic vision sensors are a great fit to be paired with laser projectors for depth estimation in a structured light approach. Our key contributions involve a conversion of the projector time map into a rectified X-map, capturing x-axis correspondences for incoming events and enabling direct disparity lookup without any additional search. Compared to previous implementations, this significantly simplifies depth estimation, making it more efficient, while the accuracy is similar to the time map-based process. Moreover, we compensate non-linear temporal behavior of cheap laser projectors by a simple time map calibration, resulting in improved performance and increased depth estimation accuracy. Since depth estimation is executed by two lookups only, it can be executed almost instantly (less than 3 ms per frame with a Python implementation) for incoming events. This allows for real-time interactivity and responsiveness, which makes our approach especially suitable for SAR experiences where low latency, high frame rates and direct feedback are crucial. We present valuable insights gained into data transformed into X-maps and evaluate our depth from disparity estimation against the state of the art time map-based results. Additional results and code are available on our project page: https://fraunhoferhhi.github.io/X-maps/