Learning Stable Canonical Worlds for Novel View Synthesis and Beyond
作者: Xiaoyu Xu, Jian Zou, Sheyang Tang, Zhihua Wang, Jing Liao, Kede Ma
分类: cs.CV
发布日期: 2026-06-22
💡 一句话要点
提出CanonicalGS以解决多视角合成中的不稳定性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 计算机视觉 不确定性感知 深度学习 语义分割 多视角融合 稳定性提升
📋 核心要点
- 现有的新视角合成方法往往依赖于视角相关的预测，导致在多视角输入时无法有效收敛，产生噪声和冗余信息。
- 本文提出CanonicalGS，通过提取和聚合多视角证据，构建一个稳定的场景中心表示，克服了现有方法的局限性。
- 实验结果显示，CanonicalGS在新视角合成中峰值信噪比提高了2.5 dB，语义分割准确率提升了11%，验证了其有效性。
📝 摘要（中文）
前馈高斯喷涂（FFGS）技术促进了实时新视角合成，但现有方法往往依赖于视角相关的预测，导致在添加更多输入视角时，可能累积噪声或冗余证据，而无法收敛到稳定的场景表示。本文提出了CanonicalGS，一个前馈管道，将杂乱的多视角观测映射到稳定的场景中心表示。CanonicalGS首先从深度、语义特征和不确定性估计中提取视角中心证据，然后通过不确定性感知融合在规范潜在世界中聚合这些证据。通过强调可靠观测并抑制不确定或冗余的观测，CanonicalGS生成的表示在新视角合成和下游视觉感知任务中更具扩展性。实验表明，在合成新视角时，峰值信噪比提高了最多2.5 dB，语义分割准确率提高了11%。
🔬 方法详解
问题定义：本文旨在解决现有新视角合成方法在多视角输入时无法有效收敛的问题，导致噪声和冗余信息的累积。
核心思路：CanonicalGS通过提取视角中心证据并在规范潜在世界中聚合这些证据，强调可靠观测，抑制不确定性，构建稳定的场景表示。
技术框架：该方法包括多个模块：首先从深度图、语义特征和不确定性估计中提取证据，然后通过不确定性感知融合将这些证据聚合到一个稳定的场景表示中。
关键创新：CanonicalGS的主要创新在于其不确定性感知融合机制，能够有效区分可靠和不可靠的观测，与传统方法相比，显著提高了新视角合成的质量。
关键设计：在设计中，采用了特定的损失函数来优化稳定性，并通过网络结构的调整来增强对不确定性估计的敏感性，从而提升整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CanonicalGS在新视角合成任务中，峰值信噪比提高了最多2.5 dB，相较于基线方法有显著提升。同时，在语义分割任务中，准确率提高了11%，显示出该方法在下游任务中的有效性。
🎯 应用场景
该研究在计算机视觉领域具有广泛的应用潜力，特别是在虚拟现实、增强现实和自动驾驶等场景中，能够提供更稳定和高质量的视角合成。此外，CanonicalGS的设计理念也可扩展到其他视觉感知任务中，提升其准确性和鲁棒性。
📄 摘要（原文）
Feed-forward Gaussian splatting (FFGS) facilitates real-time novel view synthesis, yet current methods often remain tied to view-dependent predictions. As more input views are added, they may accumulate noisy or redundant evidence instead of converging to a stable scene representation. In this paper, we introduce CanonicalGS, a feed-forward pipeline that maps cluttered multi-view observations into a stable, scene-centric representation. CanonicalGS first extracts view-centric evidence from depth, semantic features, and uncertainty estimates, and then aggregates this evidence in a canonical latent world using uncertainty-aware fusion. By emphasizing reliable observations while suppressing uncertain or redundant ones, CanonicalGS produces representations that scale more effectively for novel view synthesis and transfer to downstream visual perception tasks. Experiments show up to a $2.5$ dB improvement in peak signal-to-noise ratio for synthesizing novel views and an $11\%$ gain in semantic segmentation accuracy.