Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation

📄 arXiv: 2311.09077v3 📥 PDF

作者: Zhanfeng Liao, Qian Zheng, Yan Liu, Gang Pan

分类: cs.CV

发布日期: 2023-11-15 (更新: 2024-08-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Spiking NeRF以解决几何表示不连续性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 脉冲神经网络 几何表示 神经密度场 计算机视觉 深度学习

📋 核心要点

  1. 现有的NeRF方法依赖于连续的MLP构建几何表示，导致在真实场景中几何体表示不准确。
  2. 本文提出Spiking NeRF，利用脉冲神经元构建不连续的密度场，从而提高几何表示的真实性。
  3. 实验结果表明，Spiking NeRF在几何表示上达到了SOTA性能，显著优于传统方法。

📝 摘要（中文）

现有的基于NeRF的方法通过多层感知机（MLP）构建连续的神经密度场，但真实几何体在空气与表面之间通常是不连续的，这导致几何表示的不准确。为此，本文提出了Spiking NeRF，利用脉冲神经元和混合人工神经网络（ANN）-脉冲神经网络（SNN）框架，构建不连续的密度场以实现真实的几何表示。我们首先阐明了连续密度场导致不准确的原因，然后提出使用脉冲神经元构建不连续密度场，并分析现有脉冲神经元模型的问题，提供脉冲神经元参数与几何理论准确性之间的数值关系。基于此，我们提出了有界脉冲神经元以构建不连续密度场，方法达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有基于NeRF的几何表示方法在处理真实世界几何体时的准确性问题，特别是在空气与表面交界处的连续性不足导致的表示不准确。

核心思路：通过引入脉冲神经元，构建一个不连续的密度场，以更真实地反映几何体的特性。脉冲神经元能够更好地模拟真实世界中的不连续性，从而提高几何表示的准确性。

技术框架：整体架构包括一个混合的ANN-SNN框架，首先使用ANN进行初步的特征提取，然后通过SNN构建不连续的密度场。该框架的设计旨在结合两种神经网络的优势，以实现更高的表现。

关键创新：最重要的创新在于提出了有界脉冲神经元，这种设计能够有效地构建不连续的密度场，与传统的连续MLP方法形成鲜明对比，解决了几何表示中的不准确性问题。

关键设计：在参数设置上，论文详细探讨了脉冲神经元的参数与几何理论准确性之间的关系，并设计了特定的损失函数以优化不连续密度场的构建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Spiking NeRF在几何表示的准确性上达到了最先进的性能，相较于传统的NeRF方法，几何表示的准确性提高了显著的百分比，具体性能数据在论文中详细列出。

🎯 应用场景

该研究在计算机视觉、机器人导航和虚拟现实等领域具有广泛的应用潜力。通过提供更真实的几何表示，Spiking NeRF能够改善场景重建、物体识别和环境交互等任务的性能，推动相关技术的发展。

📄 摘要（原文）

A crucial reason for the success of existing NeRF-based methods is to build a neural density field for the geometry representation via multiple perceptron layers (MLPs). MLPs are continuous functions, however, real geometry or density field is frequently discontinuous at the interface between the air and the surface. Such a contrary brings the problem of unfaithful geometry representation. To this end, this paper proposes spiking NeRF, which leverages spiking neurons and a hybrid Artificial Neural Network (ANN)-Spiking Neural Network (SNN) framework to build a discontinuous density field for faithful geometry representation. Specifically, we first demonstrate the reason why continuous density fields will bring inaccuracy. Then, we propose to use the spiking neurons to build a discontinuous density field. We conduct a comprehensive analysis for the problem of existing spiking neuron models and then provide the numerical relationship between the parameter of the spiking neuron and the theoretical accuracy of geometry. Based on this, we propose a bounded spiking neuron to build the discontinuous density field. Our method achieves SOTA performance. The source code and the supplementary material are available at https://github.com/liaozhanfeng/Spiking-NeRF.