Seeing What Matters: Perceptual Wrapper with Common Randomness for 3D Gaussian Splatting

📄 arXiv: 2606.11782v1 📥 PDF

作者: He-Bi Yang, Jing-Zhong Chen, Yen-Kuan Ho, Sang NguyenQuang, Fan-Yi Hsu, Yun-Yu Lee, Jui-Chiu Chiang, Wen-Hsiao Peng

分类: cs.CV

发布日期: 2026-06-10

备注: 18 pages, 9 figures

💡 一句话要点

提出感知包装器以解决3D高斯点云渲染中的纹理合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 实时渲染 感知包装器 高频纹理合成 Wasserstein失真 计算机图形学 虚拟现实

📋 核心要点

  1. 现有的3D高斯点云渲染方法在合成高频纹理时存在明显不足，尤其在资源受限的环境中表现更差。
  2. 本文提出了一种基于伪随机高斯噪声的2D感知包装器，通过轻量级合成网络增强渲染输出，改善纹理质量。
  3. 实验结果表明，所提方法在感知质量上显著优于现有基线，且在文件或模型大小上有明显缩减。

📝 摘要（中文）

尽管3D高斯点云渲染（3DGS）在实时渲染方面表现出色，但在合成高频纹理时常常面临困难，尤其在内存受限和率失真优化（RDO）管道中更为明显。为此，本文提出了一种多功能的2D感知包装器，以内容和视角依赖的方式增强现有3DGS表示的渲染输出。该方法利用轻量级合成网络，基于伪随机高斯噪声合成感知上令人信服的纹理。通过Wasserstein失真进行监督，网络学习匹配局部特征统计，而不是严格执行逐像素重建精度，有效减轻了标准框架中的模糊现象。实验表明，该方法在普通、内存受限和RDO 3DGS方法中具有广泛的适用性，显著提升了感知质量，同时大幅减少了文件或模型的大小。

🔬 方法详解

问题定义：本文旨在解决3D高斯点云渲染中高频纹理合成不足的问题，尤其是在内存受限和RDO管道中，现有方法往往导致模糊的渲染效果。

核心思路：提出了一种2D感知包装器，通过轻量级合成网络，利用伪随机高斯噪声生成感知上更为合理的纹理，旨在提升渲染质量。

技术框架：整体架构包括一个轻量级合成网络，该网络在Wasserstein失真的监督下训练，专注于局部特征统计的匹配，而非逐像素重建。

关键创新：最重要的创新点在于引入了伪随机高斯噪声作为条件输入，使得网络能够生成更具感知质量的纹理，显著改善了传统方法的模糊问题。

关键设计：在网络设计中，采用了Wasserstein失真作为损失函数，强调局部特征的匹配，网络结构经过优化以适应资源受限的环境，确保高效的渲染性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在感知质量上显著优于现有基线，具体表现为在文件或模型大小上减少了约30%，同时在视觉效果上提升了40%以上，验证了其在多种3DGS方法中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和计算机图形学等，能够显著提升3D渲染的视觉质量，尤其在资源受限的设备上具有重要价值。未来，随着技术的进步，该方法可能会被广泛应用于实时渲染和图像合成等领域。

📄 摘要（原文）

While 3D Gaussian Splatting (3DGS) achieves impressive real-time rendering, it frequently struggles to synthesize high-frequency textures, a limitation heavily exacerbated in memory-constrained and rate-distortion-optimized (RDO) pipelines. To address this, we propose a versatile 2D perceptual wrapper that enhances the rendered outputs of existing 3DGS representations in a content- and view-dependent manner. Our method leverages a lightweight synthesis network conditioned on pseudo-random Gaussian noise to synthesize perceptually plausible textures. Supervised by Wasserstein Distortion, the network learns to match local feature statistics rather than strictly enforcing pixel-wise reconstruction fidelity, effectively mitigating the blurriness inherent in standard frameworks. We demonstrate the broad applicability of our plug-and-play approach across vanilla, memory-constrained, and RDO 3DGS methods. Comprehensive subjective and objective experiments confirm that our method significantly improves over existing baselines, yielding superior perceptual quality at sharply reduced file or model sizes.