Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization

📄 arXiv: 2511.17918v1 📥 PDF

作者: Youngsik Yun, Dongjun Gu, Youngjung Uh

分类: cs.CV

发布日期: 2025-11-22

备注: Project page: https://bbangsik13.github.io/FASR

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出频率自适应锐度正则化(FASR)以提升3D高斯溅射在少样本视角合成中的泛化能力

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 新视角合成 泛化能力 锐度正则化 频率自适应 少样本学习

📋 核心要点

  1. 3D高斯溅射在少样本新视角合成中易过拟合稀疏观测，泛化能力不足，现有方法难以兼顾高频细节重建与伪影抑制。
  2. 论文提出频率自适应锐度正则化(FASR)，通过调整正则化强度，引导3DGS收敛到更优的泛化解，提升新视角的合成质量。
  3. 实验结果表明，FASR在多个数据集上显著提升了3DGS的泛化性能，有效抑制了浮动伪影，并保留了精细的图像细节。

📝 摘要（中文）

尽管3D高斯溅射(3DGS)在大多数配置下表现出色，但在少样本场景中，它缺乏对新视角的泛化能力，因为它过度拟合稀疏观测。我们从机器学习的角度重新审视3DGS优化，将新视角合成视为一个未被充分探索的泛化问题。我们提出了频率自适应锐度正则化(FASR)，它重新构建了3DGS训练目标，从而引导3DGS收敛到更好的泛化解。虽然锐度感知最小化(SAM)类似地降低了损失 landscape 的锐度以提高分类模型的泛化能力，但由于任务之间的差异，直接将其应用于3DGS是次优的。具体来说，由于过度正则化，它阻碍了高频细节的重建，而降低其强度会导致对锐度的惩罚不足。为了解决这个问题，我们在估计局部锐度时，反映图像的局部频率来设置正则化权重和邻域半径。它可以防止新视角中的浮动伪影，并重建 SAM 倾向于过度平滑的精细细节。在具有各种配置的数据集上，我们的方法始终改进了各种基线。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3DGS)在少样本新视角合成任务中泛化能力不足的问题。现有的3DGS方法容易过拟合训练数据，导致在新视角下出现伪影，并且难以重建高频细节。直接应用锐度感知最小化(SAM)等方法会过度平滑图像，损失细节信息。

核心思路：论文的核心思路是引入频率自适应的锐度正则化(FASR)。通过分析图像的局部频率，动态调整正则化的强度，从而在抑制伪影的同时，保留图像的高频细节。这种方法能够引导3DGS模型收敛到更平滑的损失 landscape，提高泛化能力。

技术框架：FASR方法主要包含以下几个步骤：首先，对输入图像进行频率分析，估计每个像素的局部频率。然后，根据局部频率自适应地设置正则化权重和邻域半径。接着，使用这些参数计算局部锐度，并将其作为正则化项添加到3DGS的损失函数中。最后，通过优化带有FASR正则化项的损失函数，训练3DGS模型。

关键创新：该论文的关键创新在于提出了频率自适应的锐度正则化方法。与传统的锐度正则化方法相比，FASR能够根据图像的局部频率动态调整正则化强度，从而更好地平衡伪影抑制和细节保留。这种自适应的正则化策略能够有效地提高3DGS模型的泛化能力。

关键设计：FASR的关键设计包括：1) 使用局部频率估计来确定正则化权重，高频区域使用较小的权重，低频区域使用较大的权重；2) 使用局部频率估计来确定邻域半径，高频区域使用较小的半径，低频区域使用较大的半径；3) 将锐度正则化项添加到3DGS的损失函数中，并使用Adam优化器进行训练。

📊 实验亮点

实验结果表明，FASR在多个数据集上显著提升了3DGS的泛化性能。例如，在一些数据集上，FASR可以将PSNR指标提高1-2dB，并且能够有效地抑制浮动伪影，保留图像的精细细节。与直接应用SAM等方法相比，FASR能够更好地平衡伪影抑制和细节保留，从而获得更好的视觉效果。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、机器人导航、自动驾驶等领域。通过提升3D场景重建的泛化能力，可以减少对大量训练数据的依赖，提高系统在未知环境中的适应性。例如，在机器人导航中，可以利用少量图像快速构建环境地图，并实现准确的定位和路径规划。

📄 摘要（原文）

Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.