Mitigating Motion Blur in Neural Radiance Fields with Events and Frames
作者: Marco Cannici, Davide Scaramuzza
分类: cs.CV
发布日期: 2024-03-28 (更新: 2024-06-03)
备注: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024
💡 一句话要点
提出新方法以解决神经辐射场中的运动模糊问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 运动模糊 事件相机 图像重建 深度学习 计算机视觉 动态场景
📋 核心要点
- 现有方法在处理运动模糊时，难以恢复准确的颜色内容，且对相机姿态的限制影响重建质量。
- 本文提出通过显式建模模糊形成过程和学习事件像素响应，来解决NeRF在运动模糊情况下的重建问题。
- 实验结果显示，所提方法在合成和真实数据上相较于现有方法分别提升了6.13dB和2.48dB，表现优异。
📝 摘要（中文）
神经辐射场（NeRF）在新视角合成中展现出巨大潜力，但在训练数据受到运动模糊影响时，渲染出清晰图像的能力较弱。事件相机在动态场景中表现优异，能够以微秒级分辨率测量亮度变化，因此对模糊的影响较小。近期方法尝试通过融合帧和事件来增强NeRF重建，但在恢复准确的颜色内容或限制NeRF于预定义相机姿态时面临挑战，影响重建质量。本文提出了一种新颖的公式，通过利用模型和学习模块，显式建模模糊形成过程，并利用事件双重积分作为额外的模型基础先验。此外，我们使用端到端可学习的响应函数建模事件像素响应，使方法能够适应真实事件相机传感器中的非理想性。实验结果表明，所提方法在合成和真实数据上均优于仅使用帧的去模糊NeRF以及结合帧和事件的方法，分别提升了6.13dB和2.48dB。
🔬 方法详解
问题定义：本文旨在解决神经辐射场（NeRF）在运动模糊情况下的图像渲染问题。现有方法在恢复颜色内容时存在困难，并且对相机姿态的限制影响了重建质量，尤其是在动态场景中。
核心思路：论文的核心思路是通过显式建模模糊形成过程，并结合事件相机的高时间分辨率，利用事件双重积分作为模型基础先验，来提高NeRF的重建质量。同时，采用可学习的响应函数来适应真实传感器的非理想性。
技术框架：整体架构包括两个主要模块：一是模型基础的模糊建模模块，二是学习模块用于建模事件像素响应。通过这两个模块的结合，形成一个端到端的学习框架，能够有效处理运动模糊问题。
关键创新：最重要的技术创新在于显式建模模糊形成过程，并引入事件双重积分作为先验知识。这一方法与现有仅依赖帧或简单融合帧和事件的方法有本质区别，能够更好地适应动态场景。
关键设计：在参数设置上，采用了适应性损失函数来平衡模糊和清晰图像的重建。同时，网络结构设计为端到端可学习，能够根据输入数据动态调整响应函数，以提高重建效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在合成数据集上相较于仅使用帧的去模糊NeRF提升了6.13dB，在结合帧和事件的方法上提升了2.48dB，显示出显著的性能优势，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和机器人视觉等动态场景的图像合成。通过提高运动模糊条件下的图像质量，能够显著提升用户体验和系统性能，未来可能在自动驾驶、无人机导航等领域产生深远影响。
📄 摘要（原文）
Neural Radiance Fields (NeRFs) have shown great potential in novel view synthesis. However, they struggle to render sharp images when the data used for training is affected by motion blur. On the other hand, event cameras excel in dynamic scenes as they measure brightness changes with microsecond resolution and are thus only marginally affected by blur. Recent methods attempt to enhance NeRF reconstructions under camera motion by fusing frames and events. However, they face challenges in recovering accurate color content or constrain the NeRF to a set of predefined camera poses, harming reconstruction quality in challenging conditions. This paper proposes a novel formulation addressing these issues by leveraging both model- and learning-based modules. We explicitly model the blur formation process, exploiting the event double integral as an additional model-based prior. Additionally, we model the event-pixel response using an end-to-end learnable response function, allowing our method to adapt to non-idealities in the real event-camera sensor. We show, on synthetic and real data, that the proposed approach outperforms existing deblur NeRFs that use only frames as well as those that combine frames and events by +6.13dB and +2.48dB, respectively.