InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis

📄 arXiv: 2608.02437v1 📥 PDF

作者: Jiawei Wang, Hao Yu, Yongzhen Hu, Xinyi Yang, Tao Ni, Xin Zhan, Junbo Chen, Xiaowei Zhou, Ruizhen Hu, Sida Peng

分类: cs.CV

发布日期: 2026-08-03

备注: Accepted to SIGGRAPH Asia 2026 (Journal Track). Project page: https://zju3dv.github.io/InfiniSplat

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出InfiniSplat以解决单图像3D高斯渲染问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单图像渲染 3D高斯渲染 几何引导采样 隐式解码器 场景重建 计算机视觉

📋 核心要点

  1. 现有单图像3D高斯渲染方法受限于像素对齐表示，难以在大视角变化下保持场景结构一致性。
  2. InfiniSplat通过几何引导采样构建表面对齐表示，利用查询条件隐式解码器预测高斯属性，提升了渲染效果。
  3. 在多个跨数据集评估中，InfiniSplat实现了最先进的性能，并展示了良好的零-shot泛化能力。

📝 摘要（中文）

单图像前馈3D高斯渲染（3DGS）旨在从单个输入图像直接生成可渲染的3D场景表示，避免了多视角捕获和每场景优化的成本。然而，现有方法通常受限于像素对齐表示，导致在大视角变化下难以保持结构一致性。本文提出InfiniSplat框架，采用几何引导采样构建表面对齐表示，并通过查询条件隐式解码器预测高斯属性，从而更好地遵循场景表面，减少由网格离散化引起的散乱原语。在多个跨数据集的NVS评估中，InfiniSplat在单图像前馈基线中实现了最先进的性能，并展示了从Hypersim室内合成训练到复杂开放世界场景的零-shot泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有单图像3D高斯渲染方法在大视角变化下保持结构一致性不足的问题。现有方法依赖于固定像素位置的像素对齐表示，导致在视角变化时难以准确反映场景表面。

核心思路：InfiniSplat的核心思路是从像素对齐表示转向表面对齐表示，通过几何引导采样来确定支持点位置，并使用查询条件隐式解码器来预测高斯属性，从而更好地捕捉场景表面特征。

技术框架：InfiniSplat的整体架构包括两个主要阶段：首先，使用几何引导采样根据深度信息确定2D支持点；其次，利用隐式解码器从图像特征中查询这些支持点的高斯属性。

关键创新：InfiniSplat的关键创新在于将高斯预测从固定像素中心解耦，采用几何引导的支持点布局，使得生成的高斯布局更贴合场景表面，显著减少了由网格离散化引起的散乱原语。

关键设计：在设计中，InfiniSplat使用了深度引导的支持点采样策略，并结合查询条件隐式解码器，确保高斯属性的准确预测。此外，损失函数的设计也考虑了高斯布局与真实场景表面的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个跨数据集的NVS评估中，InfiniSplat实现了最先进的性能，相较于单图像前馈基线，表现出显著的提升，具体性能数据未知。此外，该方法展示了从Hypersim室内合成训练到复杂开放世界场景的零-shot泛化能力，表明其良好的适应性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实以及计算机图形学中的场景重建和渲染。InfiniSplat能够在单图像输入下生成高质量的3D场景表示，具有广泛的实际价值，能够提升用户体验和交互效果。未来，该方法可能推动更多基于单图像的3D视觉任务的发展。

📄 摘要（原文）

Single-image feed-forward 3D Gaussian Splatting (3DGS) aims to directly generate a renderable 3D scene representation from one input image, avoiding the cost of multi-view capture and per-scene optimization. However, existing methods are often constrained by a pixel-aligned representation, where Gaussians are predicted from fixed image-grid locations. Such pixel-aligned primitives can produce promising nearby-view renderings, but they remain weakly coupled to underlying scene surfaces and struggle to preserve coherent structures under large viewpoint shifts. We present InfiniSplat, a feed-forward single-image 3DGS framework that moves from a pixel-aligned representation toward a surface-aligned representation. InfiniSplat constructs this representation by first using geometry-guided sampling to place 2D supports according to depth-induced local surface structure, and then applying a query-conditioned implicit decoder to predict Gaussian attributes from the image features queried at these supports.By grounding support locations in geometry while decoupling Gaussian prediction from fixed pixel centers, InfiniSplat produces Gaussian layouts that better follow scene surfaces and reduce scattered primitives caused by grid discretization.Across multiple cross-dataset NVS evaluations, InfiniSplat achieves state-of-the-art performance compared with single-image feed-forward baselines, and demonstrates zero-shot generalization from Hypersim indoor synthetic training to complex open-world scenes.Project page: https://zju3dv.github.io/InfiniSplat.