SGFormer: Spherical Geometry Transformer for 360 Depth Estimation
作者: Junsong Zhang, Zisong Chen, Chunyu Lin, Lang Nie, Zhijie Shen, Kang Liao, Junda Huang, Yao Zhao
分类: cs.CV, cs.AI
发布日期: 2024-04-23 (更新: 2025-02-25)
💡 一句话要点
提出SGFormer以解决360深度估计中的全景失真问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 360深度估计 球面几何 视觉变换器 全景失真 深度学习 计算机视觉 自动驾驶 虚拟现实
📋 核心要点
- 现有360深度估计方法在处理全景失真时存在不足，尤其在极地区域，导致结构模糊或局部感知不足。
- 本文提出SGFormer，通过引入球面几何先验，重构变换器解码器以保持球面结构的完整性，提升深度估计效果。
- 实验结果表明，SGFormer在多个基准测试中表现优越，超越了现有最先进的解决方案，提升了深度估计的准确性。
📝 摘要（中文）
全景失真在360深度估计中带来了显著挑战，尤其在南北极区域尤为明显。现有方法通常采用双投影融合策略去除失真，或通过建模长距离依赖来捕捉全局结构，但这可能导致结构模糊或局部感知不足。本文提出了一种名为SGFormer的球面几何变换器，旨在解决上述问题，通过将球面几何先验整合到视觉变换器中。我们重新设计了变换器解码器为球面先验解码器（SPDecoder），以保持解码过程中的球面结构完整性。具体而言，我们利用双极重投影、圆形旋转和曲线局部嵌入来保留等失真、连续性和表面距离的球面特性。此外，我们提出了一种基于查询的全局条件位置嵌入，以补偿不同分辨率下的空间结构，显著提升了空间位置的全局感知能力，并在不同补丁间增强了深度结构。最后，我们在多个基准测试上进行了广泛实验，证明了我们方法的优越性。
🔬 方法详解
问题定义：本文旨在解决360深度估计中的全景失真问题，现有方法在处理极地区域时容易导致结构模糊或局部感知不足。
核心思路：SGFormer通过整合球面几何先验，重新设计解码器以保持球面结构的完整性，从而改善深度估计的准确性。
技术框架：SGFormer的整体架构包括球面先验解码器（SPDecoder），利用双极重投影、圆形旋转和曲线局部嵌入等模块，确保在解码过程中保留球面特性。
关键创新：最重要的创新在于将球面几何先验引入视觉变换器，特别是通过SPDecoder的设计，显著提升了对球面结构的感知能力。
关键设计：在参数设置上，采用了基于查询的全局条件位置嵌入，补偿不同分辨率下的空间结构，增强了深度结构的清晰度。网络结构经过优化，以适应球面几何特性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，SGFormer的深度估计精度显著优于现有最先进的方法，具体性能提升幅度达到XX%，验证了其在处理全景失真方面的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和自动驾驶等场景，能够为360度环境下的深度感知提供更准确的解决方案，提升用户体验和安全性。未来，SGFormer有望在更广泛的计算机视觉任务中发挥重要作用。
📄 摘要（原文）
Panoramic distortion poses a significant challenge in 360 depth estimation, particularly pronounced at the north and south poles. Existing methods either adopt a bi-projection fusion strategy to remove distortions or model long-range dependencies to capture global structures, which can result in either unclear structure or insufficient local perception. In this paper, we propose a spherical geometry transformer, named SGFormer, to address the above issues, with an innovative step to integrate spherical geometric priors into vision transformers. To this end, we retarget the transformer decoder to a spherical prior decoder (termed SPDecoder), which endeavors to uphold the integrity of spherical structures during decoding. Concretely, we leverage bipolar re-projection, circular rotation, and curve local embedding to preserve the spherical characteristics of equidistortion, continuity, and surface distance, respectively. Furthermore, we present a query-based global conditional position embedding to compensate for spatial structure at varying resolutions. It not only boosts the global perception of spatial position but also sharpens the depth structure across different patches. Finally, we conduct extensive experiments on popular benchmarks, demonstrating our superiority over state-of-the-art solutions.