Event-based Background-Oriented Schlieren
作者: Shintaro Shiba, Friedhelm Hamann, Yoshimitsu Aoki, Guillermo Gallego
分类: cs.CV, eess.IV
发布日期: 2023-11-01
备注: Accepted at IEEE T-PAMI
期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence, Oct. 2023
DOI: 10.1109/TPAMI.2023.3328188
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于事件的背景导向施莱伦成像以解决传统方法的局限性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 施莱伦成像 事件相机 光流技术 变分优化 流体动力学 低光成像 数据处理
📋 核心要点
- 现有的施莱伦成像方法依赖于高分辨率相机，面临亮度和计算成本的限制，难以在低光环境中有效工作。
- 本文提出了一种结合事件相机和帧相机的新方法，通过变分优化技术解决空气对流的施莱伦成像问题。
- 实验结果显示，所提方法在低光条件下表现优异，且在性能上与传统光流技术相当，具有显著的应用潜力。
📝 摘要（中文）
施莱伦成像是一种光学技术，用于观察透明介质（如空气或水）的流动，但传统的基于帧的技术需要高空间和时间分辨率的相机，这限制了其亮度和计算成本。事件相机由于其生物启发的感知原理，提供了高动态范围、高时间分辨率和数据效率的潜在优势。本文提出了一种新颖的技术，通过事件和帧数据感知空气对流，并首次提供了将事件数据与施莱伦成像连接的理论分析。我们将问题表述为变分优化问题，结合线性化的事件生成模型和物理驱动的参数化，估计空气密度的时间导数。实验结果表明，该方法使事件相机能够与现有的基于帧的光流技术相媲美，并在光线不足的条件下仍能有效工作，此外还利用事件相机的优势实现慢动作分析。我们的工作开创了事件相机应用的新领域，并发布了源代码和首个高质量帧与事件数据的施莱伦数据集。
🔬 方法详解
问题定义：本文旨在解决传统施莱伦成像方法在低光环境下的局限性，现有方法需要高分辨率相机，导致成本高且不适用。
核心思路：提出一种新颖的技术，通过结合事件相机的高时间分辨率和帧相机的数据，利用变分优化方法来估计空气密度的时间导数，从而实现施莱伦成像。
技术框架：整体方法包括事件数据的线性化生成模型和物理驱动的参数化，形成一个变分优化框架，主要模块包括数据预处理、模型训练和结果重建。
关键创新：最重要的创新在于首次将事件数据与施莱伦成像理论相结合，提出了一种新的数据处理方式，使得事件相机在低光条件下也能有效工作。
关键设计：在技术细节上，采用了特定的损失函数来优化空气密度的估计，并设计了适应事件相机特性的参数设置，以提高模型的准确性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在低光条件下的施莱伦成像效果显著，能够与传统基于帧的光流技术相媲美，且在慢动作分析中表现出色。具体性能数据表明，事件相机在多种条件下均能保持高质量的成像效果，提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括气流监测、环境监测和流体动力学研究等。通过利用事件相机的优势，该技术能够在低光环境下进行高效成像，具有重要的实际价值和广泛的应用前景，可能推动相关领域的研究进展。
📄 摘要（原文）
Schlieren imaging is an optical technique to observe the flow of transparent media, such as air or water, without any particle seeding. However, conventional frame-based techniques require both high spatial and temporal resolution cameras, which impose bright illumination and expensive computation limitations. Event cameras offer potential advantages (high dynamic range, high temporal resolution, and data efficiency) to overcome such limitations due to their bio-inspired sensing principle. This paper presents a novel technique for perceiving air convection using events and frames by providing the first theoretical analysis that connects event data and schlieren. We formulate the problem as a variational optimization one combining the linearized event generation model with a physically-motivated parameterization that estimates the temporal derivative of the air density. The experiments with accurately aligned frame- and event camera data reveal that the proposed method enables event cameras to obtain on par results with existing frame-based optical flow techniques. Moreover, the proposed method works under dark conditions where frame-based schlieren fails, and also enables slow-motion analysis by leveraging the event camera's advantages. Our work pioneers and opens a new stack of event camera applications, as we publish the source code as well as the first schlieren dataset with high-quality frame and event data. https://github.com/tub-rip/event_based_bos