Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction

📄 arXiv: 2604.01204v1 📥 PDF

作者: Jorge Condor, Nicolas Moenne-Loccoz, Merlin Nimier-David, Piotr Didyk, Zan Gojcic, Qi Wu

分类: cs.CV, cs.AI, cs.GR, cs.LG

发布日期: 2026-04-01

💡 一句话要点

提出神经谐波纹理，提升基于图元的神经重建质量，实现高质量新视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经渲染 新视角合成 三维重建 图元表示 谐波分析 神经谐波纹理 3D Gaussian Splatting

📋 核心要点

  1. 基于图元的神经重建方法在高频细节建模方面存在挑战，因为单个图元的表达能力有限。
  2. 神经谐波纹理通过在图元周围构建虚拟支架，锚定潜在特征向量，并利用周期性激活函数进行谐波分析，增强了图元的表达能力。
  3. 实验表明，该方法在实时新视角合成中取得了最先进的结果，并能应用于2D图像拟合和语义重建等任务。

📝 摘要（中文）

本文提出神经谐波纹理（Neural Harmonic Textures），一种神经表示方法，它将潜在特征向量锚定在每个图元周围的虚拟支架上。这些特征在光线相交点处在图元内进行插值。受傅里叶分析的启发，我们将周期性激活函数应用于插值后的特征，将Alpha混合转化为谐波分量的加权和。然后，使用一个小型神经网络在单个延迟通道中解码生成的信号，从而显著降低计算成本。神经谐波纹理在实时新视角合成中产生了最先进的结果，同时弥合了基于图元和基于神经场的重建之间的差距。我们的方法可以无缝集成到现有的基于图元的管道中，例如3DGUT、三角形 Splatting 和 2DGS。我们进一步通过 2D 图像拟合和语义重建的应用证明了其通用性。

🔬 方法详解

问题定义：现有的基于图元的神经重建方法，例如3D Gaussian Splatting，虽然在 novel-view synthesis 方面表现出色，但由于单个图元表达能力有限，难以建模高频细节。这限制了重建质量，尤其是在复杂场景中。

核心思路：论文的核心思路是通过引入神经谐波纹理来增强图元的表达能力。具体来说，不是直接使用图元的属性进行渲染，而是在每个图元周围构建一个虚拟支架，并在其上锚定潜在特征向量。这些特征向量在图元内部进行插值，并通过周期性激活函数进行调制，从而将alpha混合转化为谐波分量的加权和。这种方法借鉴了傅里叶分析的思想，利用谐波分量来表示高频细节。

技术框架：该方法可以集成到现有的基于图元的渲染管线中。主要流程如下：1）在每个图元周围构建虚拟支架，并初始化潜在特征向量。2）对于每个像素，计算光线与图元的交点。3）在交点处插值潜在特征向量。4）将周期性激活函数应用于插值后的特征向量，得到谐波分量。5）使用小型神经网络解码谐波分量，得到颜色和透明度。6）使用alpha混合将颜色和透明度组合成最终像素颜色。

关键创新：最重要的技术创新点是神经谐波纹理的引入，它通过在图元周围构建虚拟支架并利用谐波分析来增强图元的表达能力。与直接使用图元属性进行渲染的方法相比，该方法能够更好地建模高频细节。与基于神经场的方法相比，该方法具有更高的效率和可扩展性。

关键设计：关键设计包括：1）虚拟支架的形状和大小。2）潜在特征向量的维度。3）周期性激活函数的选择（例如，正弦函数）。4）小型神经网络的结构和参数。5）损失函数的设计，通常包括重建损失和正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，神经谐波纹理在实时新视角合成中取得了最先进的结果。该方法在多个数据集上优于现有的基于图元和基于神经场的方法。此外，该方法还可以应用于2D图像拟合和语义重建等任务，证明了其通用性。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

该研究成果可广泛应用于三维重建、新视角合成、虚拟现实、增强现实等领域。通过提升重建质量，可以改善用户在虚拟环境中的沉浸感和交互体验。此外，该方法还可以应用于工业设计、建筑可视化、游戏开发等领域，为用户提供更逼真的视觉效果。

📄 摘要（原文）

Primitive-based methods such as 3D Gaussian Splatting have recently become the state-of-the-art for novel-view synthesis and related reconstruction tasks. Compared to neural fields, these representations are more flexible, adaptive, and scale better to large scenes. However, the limited expressivity of individual primitives makes modeling high-frequency detail challenging. We introduce Neural Harmonic Textures, a neural representation approach that anchors latent feature vectors on a virtual scaffold surrounding each primitive. These features are interpolated within the primitive at ray intersection points. Inspired by Fourier analysis, we apply periodic activations to the interpolated features, turning alpha blending into a weighted sum of harmonic components. The resulting signal is then decoded in a single deferred pass using a small neural network, significantly reducing computational cost. Neural Harmonic Textures yield state-of-the-art results in real-time novel view synthesis while bridging the gap between primitive- and neural-field-based reconstruction. Our method integrates seamlessly into existing primitive-based pipelines such as 3DGUT, Triangle Splatting, and 2DGS. We further demonstrate its generality with applications to 2D image fitting and semantic reconstruction.