StructSplat: Generalizable 3D Gaussian Splatting from Uncalibrated Sparse Views

📄 arXiv: 2606.28321v1 📥 PDF

作者: Jia-Chen Zhao, Beiqi Chen, Xinyang Chen, Guangcong Wang, Liqiang Nie

分类: cs.CV

发布日期: 2026-06-26

备注: Project page: https://structsplat.github.io Code: https://github.com/J-C-Zhao/StructSplat

🔗 代码/项目: GITHUB

💡 一句话要点

提出StructSplat以解决无标定稀疏视图下的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯重建 无标定图像 计算机视觉 深度学习 语义感知 特征注入 模型泛化

📋 核心要点

  1. 现有的3D重建方法通常依赖于已知的相机参数或每场景优化，限制了其在无标定图像上的应用。
  2. 我们提出了一种结构化表示方法，明确几何、语义和纹理的角色，并通过像素对齐特征注入机制实现准确的纹理建模。
  3. 在DL3DV基准上，我们的方法PSNR达到28.045，超越AnySplat的22.377，提升幅度达到5.67 dB。

📝 摘要（中文）

我们提出了StructSplat，一个前馈且可泛化的3D高斯重建框架，能够直接处理无标定图像，无需相机参数。现有方法通常依赖于每场景优化或假设已知相机姿态，且往往将几何和外观混合在统一的骨干网络中，限制了重建的保真度和泛化能力。我们的关键思想是采用结构化表示，明确几何、语义和纹理线索在重建过程中的角色。具体而言，我们引入了像素对齐特征注入机制，以实现从2D观测中准确建模纹理，结合语义感知先验以改善全局一致性，并设计了相机对齐策略以防止信息泄漏并提高泛化能力。实验表明，我们的方法在挑战性基准上显著优于先前的方法。

🔬 方法详解

问题定义：本论文旨在解决在无标定稀疏视图下的3D重建问题。现有方法通常依赖于已知的相机参数或每场景优化，导致重建效果受限，且难以泛化到新场景。

核心思路：我们提出了StructSplat框架，通过结构化表示来组织几何、语义和纹理信息，明确各自的角色，从而提高重建的准确性和泛化能力。

技术框架：该框架包括多个模块：首先是像素对齐特征注入机制，用于从2D图像中提取纹理；其次是语义感知先验的引入，以增强全局一致性；最后是相机对齐策略，防止信息泄漏。

关键创新：最重要的创新在于结构化表示的采用，使得几何、语义和纹理信息能够独立处理，从而避免了传统方法中几何与外观的混合问题，显著提升了重建的保真度。

关键设计：我们设计了特征注入机制，确保纹理信息的准确性，并通过损失函数优化全局一致性，同时在网络结构中引入了语义信息，以增强模型的泛化能力。

📊 实验亮点

在实验中，StructSplat在DL3DV基准上取得了28.045的PSNR，超越了AnySplat的22.377，提升幅度达到5.67 dB。此外，在跨数据集评估中，StructSplat在ACID和RealEstate10K上分别提升了1.94 dB和1.72 dB，显示出其优越的泛化能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在计算机视觉、虚拟现实和增强现实等领域。通过提高3D重建的准确性和泛化能力，StructSplat可以为自动驾驶、机器人导航和文化遗产保护等实际应用提供更为可靠的技术支持，推动相关领域的发展。

📄 摘要（原文）

We present StructSplat, a feed-forward and generalizable 3D Gaussian reconstruction framework that operates directly on uncalibrated images without requiring camera parameters. Existing methods either rely on per-scene optimization or assume known camera poses, and often entangle geometry and appearance within a unified backbone, limiting reconstruction fidelity and generalization. Our key idea is to adopt a structured representation that organizes geometry, semantic, and texture cues with explicit roles in the reconstruction process. Specifically, we introduce a pixel-aligned feature injection mechanism to enable accurate texture modeling from 2D observations, incorporate semantic-aware priors to improve global consistency, and design a camera alignment strategy to prevent information leakage and improve generalization. Experiments show that our method significantly outperforms prior approaches on challenging benchmarks. On DL3DV, our method achieves 28.045 PSNR, surpassing AnySplat (22.377) by +5.67 dB. In cross-dataset evaluation, our method achieves +1.94 dB over AnySplat on ACID and +1.72 dB on RealEstate10K. Project page: https://structsplat.github.io Code: https://github.com/J-C-Zhao/StructSplat