FM-SIREN & FM-FINER: Nyquist-Informed Frequency Multiplier for Implicit Neural Representation with Periodic Activation

📄 arXiv: 2509.23438v2 📥 PDF

作者: Mohammed Alsakabi, Wael Mobeirek, John M. Dolan, Ozan K. Tonguz

分类: cs.CV

发布日期: 2025-09-27 (更新: 2025-09-30)

💡 一句话要点

FM-SIREN/FINER：通过Nyquist频率乘子提升周期激活隐式神经表示性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经表示 周期激活函数 奈奎斯特频率 信号重建 神经辐射场

📋 核心要点

  1. SIREN等INR网络因使用固定频率乘子导致特征冗余，限制了MLP的表达能力。
  2. FM-SIREN/FINER为每个神经元分配符合奈奎斯特频率的频率乘子，引入频率多样性。
  3. 实验表明，该方法能有效降低特征冗余，并在多种信号重建任务中提升性能。

📝 摘要（中文）

现有的基于周期激活的隐式神经表示(INR)网络，如SIREN和FINER，存在隐藏特征冗余的问题。由于使用固定的频率乘子，同一层内的神经元会捕获重叠的频率分量，限制了多层感知机(MLP)的表达能力。受离散正弦变换(DST)等经典信号处理方法的启发，我们提出了FM-SIREN和FM-FINER，它们为周期激活分配了符合奈奎斯特频率的、神经元特定的频率乘子。与现有方法不同，我们的设计引入了频率多样性，而无需超参数调整或增加网络深度。这种简单而有效的修改将特征冗余度降低了近50%，并在各种INR任务中持续改进信号重建效果，包括拟合1D音频、2D图像和3D形状，以及神经辐射场(NeRF)的合成，在保持效率的同时优于其基线对应方法。

🔬 方法详解

问题定义：现有的基于周期激活函数的隐式神经表示网络，例如SIREN和FINER，在表示复杂信号时存在特征冗余问题。具体来说，由于网络层内的所有神经元都使用相同的固定频率乘子，导致它们学习到的频率分量高度重叠，降低了网络的表达能力，限制了其在复杂信号重建任务中的性能。

核心思路：本文的核心思路是为每个神经元分配一个独立的、符合奈奎斯特频率的频率乘子。通过这种方式，可以确保每个神经元学习到不同的频率分量，从而增加特征的多样性，减少冗余。这种设计借鉴了经典信号处理方法，如离散正弦变换(DST)，其目标是尽可能高效地表示信号。

技术框架：FM-SIREN和FM-FINER的整体架构与原始的SIREN和FINER类似，仍然是基于多层感知机(MLP)。主要的区别在于，在周期激活函数（例如正弦函数）之前，每个神经元都乘以一个不同的频率值。这些频率值是根据奈奎斯特采样定理计算得到的，确保网络能够有效地表示信号中的高频成分。

关键创新：最重要的技术创新在于引入了神经元特定的、符合奈奎斯特频率的频率乘子。与现有方法相比，这种方法无需额外的超参数调整或增加网络深度，就能有效地减少特征冗余，提高网络的表达能力。这是对传统INR网络的一个简单但有效的改进。

关键设计：关键的设计在于如何确定每个神经元的频率乘子。论文中，频率乘子是根据奈奎斯特采样定理计算得到的，确保网络能够有效地表示信号中的高频成分。具体来说，对于第i个神经元，其频率乘子被设置为与i成比例的值，并且该值受到奈奎斯特频率的限制。此外，该方法没有引入额外的损失函数或复杂的网络结构，保持了原始SIREN和FINER的效率。

📊 实验亮点

实验结果表明，FM-SIREN和FM-FINER在多个INR任务中均优于其基线对应方法。例如，在图像重建任务中，特征冗余度降低了近50%，重建误差显著降低。在神经辐射场(NeRF)合成任务中，该方法也取得了更好的视觉效果和更高的PSNR值。这些结果表明，该方法能够有效地提升INR网络的表达能力和重建质量。

🎯 应用场景

该研究成果可广泛应用于信号重建、图像处理、三维建模以及神经辐射场等领域。通过提升隐式神经表示的表达能力，可以更有效地表示和生成复杂的数据，例如高质量的图像、逼真的三维模型和沉浸式的虚拟场景。该方法在自动驾驶、机器人导航、医疗影像等领域具有潜在的应用价值。

📄 摘要（原文）

Existing periodic activation-based implicit neural representation (INR) networks, such as SIREN and FINER, suffer from hidden feature redundancy, where neurons within a layer capture overlapping frequency components due to the use of a fixed frequency multiplier. This redundancy limits the expressive capacity of multilayer perceptrons (MLPs). Drawing inspiration from classical signal processing methods such as the Discrete Sine Transform (DST), we propose FM-SIREN and FM-FINER, which assign Nyquist-informed, neuron-specific frequency multipliers to periodic activations. Unlike existing approaches, our design introduces frequency diversity without requiring hyperparameter tuning or additional network depth. This simple yet principled modification reduces the redundancy of features by nearly 50% and consistently improves signal reconstruction across diverse INR tasks, including fitting 1D audio, 2D image and 3D shape, and synthesis of neural radiance fields (NeRF), outperforming their baseline counterparts while maintaining efficiency.