DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization

📄 arXiv: 2604.00648v1 📥 PDF

作者: Zhengxian Yang, Fei Xie, Xutao Xue, Rui Zhang, Taicheng Huang, Yang Liu, Mengqi Ji, Tao Yu

分类: cs.CV

发布日期: 2026-04-01

备注: CVPR 2026

💡 一句话要点

DirectFisheye-GS：通过跨视角联合优化实现高斯溅射原生鱼眼相机输入

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 鱼眼相机 场景重建 跨视角优化 VR/AR

📋 核心要点

  1. 现有方法在鱼眼相机3DGS重建中，需先去畸变，导致信息损失和细节密度降低，产生模糊伪影。
  2. 论文提出DirectFisheye-GS，将鱼眼相机模型集成到3DGS框架，实现原生鱼眼图像输入训练，无需预处理。
  3. 引入特征重叠驱动的跨视角联合优化策略，在视角间建立几何和光度约束，提升重建质量，实验结果优于现有方法。

📝 摘要（中文）

3D高斯溅射(3DGS)通过实时、高保真渲染，实现了从日常图像中高效的3D场景重建，极大地推动了VR/AR应用。鱼眼相机以其更宽的视场(FOV)，有望从更少的输入中实现高质量的重建，并引起了广泛关注。然而，由于3DGS依赖于光栅化，大多数后续涉及鱼眼相机输入的工作首先对图像进行去畸变，然后再进行训练，这带来了两个问题：1)图像边缘的黑边导致信息丢失，抵消了鱼眼的大FOV优势；2)去畸变的拉伸和插值重采样将每个像素的值分散到更大的区域，稀释了细节密度——导致3DGS过度拟合这些低频区域，产生模糊和漂浮伪影。在这项工作中，我们将鱼眼相机模型集成到原始3DGS框架中，从而能够对原生鱼眼图像进行训练，而无需预处理。尽管建模正确，但我们观察到重建的场景仍然在图像边缘表现出漂浮物：畸变在外围增加，而3DGS原始的每次迭代随机选择视角优化忽略了高斯的跨视角相关性，导致了极端的形状(例如，过大或拉长)，从而降低了重建质量。为了解决这个问题，我们引入了一种特征重叠驱动的跨视角联合优化策略，该策略在各个视角之间建立了连贯的几何和光度约束——这项技术同样适用于现有的基于针孔相机的管道。我们的DirectFisheye-GS在公共数据集上匹配或超过了最先进的性能。

🔬 方法详解

问题定义：现有基于3DGS的鱼眼相机场景重建方法，通常需要先对鱼眼图像进行去畸变处理。然而，去畸变过程会引入黑边，导致信息丢失，降低了鱼眼相机大视场角的优势。此外，去畸变过程中的拉伸和插值操作会稀释图像细节，导致3DGS训练时容易过拟合低频区域，产生模糊和漂浮伪影。

核心思路：论文的核心思路是将鱼眼相机模型直接集成到3DGS框架中，实现原生鱼眼图像的训练，避免了预处理步骤带来的问题。此外，针对鱼眼图像边缘畸变较大，以及3DGS原始优化策略忽略跨视角相关性的问题，提出了特征重叠驱动的跨视角联合优化策略。

技术框架：DirectFisheye-GS的整体框架基于3DGS，主要包括以下几个阶段：1) 初始化3D高斯分布；2) 使用鱼眼相机模型进行渲染；3) 计算渲染图像与真实图像之间的损失；4) 根据损失更新3D高斯分布的参数。关键在于渲染阶段，需要根据鱼眼相机模型将3D高斯投影到图像平面上。此外，还引入了跨视角联合优化模块，用于增强视角间的一致性。

关键创新：论文最重要的创新点在于：1) 将鱼眼相机模型原生集成到3DGS框架中，避免了预处理步骤；2) 提出了特征重叠驱动的跨视角联合优化策略，解决了鱼眼图像边缘畸变带来的问题。与现有方法相比，DirectFisheye-GS能够更有效地利用鱼眼相机的大视场角，并生成更高质量的3D场景重建结果。

关键设计：在鱼眼相机模型方面，论文采用了标准化的鱼眼相机模型参数化方法。在跨视角联合优化方面，论文设计了一种基于特征重叠的损失函数，用于约束不同视角下同一3D高斯的几何和光度一致性。具体来说，该损失函数鼓励在不同视角下，同一3D高斯投影到图像平面上的特征具有相似性。损失函数的权重需要根据特征重叠的程度进行调整，以避免过度约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DirectFisheye-GS在多个公开数据集上进行了评估，实验结果表明，该方法在重建质量和渲染速度方面均优于现有方法。具体来说，DirectFisheye-GS在重建质量方面取得了显著提升，尤其是在图像边缘区域，有效地减少了漂浮伪影。此外，该方法在保持高重建质量的同时，也实现了实时的渲染速度。

🎯 应用场景

DirectFisheye-GS在VR/AR、机器人导航、自动驾驶等领域具有广泛的应用前景。鱼眼相机的大视场角特性使其能够捕捉更广阔的场景信息，从而提高3D场景重建的效率和质量。该研究可以应用于快速构建VR/AR环境、增强机器人对周围环境的感知能力、以及提高自动驾驶系统的安全性。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has enabled efficient 3D scene reconstruction from everyday images with real-time, high-fidelity rendering, greatly advancing VR/AR applications. Fisheye cameras, with their wider field of view (FOV), promise high-quality reconstructions from fewer inputs and have recently attracted much attention. However, since 3DGS relies on rasterization, most subsequent works involving fisheye camera inputs first undistort images before training, which introduces two problems: 1) Black borders at image edges cause information loss and negate the fisheye's large FOV advantage; 2) Undistortion's stretch-and-interpolate resampling spreads each pixel's value over a larger area, diluting detail density -- causes 3DGS overfitting these low-frequency zones, producing blur and floating artifacts. In this work, we integrate fisheye camera model into the original 3DGS framework, enabling native fisheye image input for training without preprocessing. Despite correct modeling, we observed that the reconstructed scenes still exhibit floaters at image edges: Distortion increases toward the periphery, and 3DGS's original per-iteration random-selecting-view optimization ignores the cross-view correlations of a Gaussian, leading to extreme shapes (e.g., oversized or elongated) that degrade reconstruction quality. To address this, we introduce a feature-overlap-driven cross-view joint optimization strategy that establishes consistent geometric and photometric constraints across views-a technique equally applicable to existing pinhole-camera-based pipelines. Our DirectFisheye-GS matches or surpasses state-of-the-art performance on public datasets.