Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo
作者: Sahereh Obeidavi, Dieter Landes
分类: cs.CV
发布日期: 2026-06-23
备注: 7 Pages, 4 Figures, Conference
期刊: International Conference on Computer Vision and Artificial Intelligence (ICCVAI - 2026)
💡 一句话要点
提出球面到等距矩形投影以解决360度立体图像的视差估计问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 全向立体图像 视差估计 球面投影 等距矩形 光流计算 实时处理 虚拟现实 增强现实
📋 核心要点
- 现有的全向立体图像处理方法在视差估计中面临几何假设的挑战，导致视差计算不准确。
- 本文提出通过球面到等距矩形的投影预处理，拉直极线曲线，从而恢复一维视差结构。
- 实验结果表明，该方法在合成鱼眼立体数据集上实现了实时速度下的高质量视差图生成。
📝 摘要（中文）
全向立体图像提供了全景感知，但违反了经典视差估计的几何假设。在球面或鱼眼视图中，极线对应关系遵循曲线大圆路径，导致二维位移无法在几何校正前视为单轴视差。本文采用标准的球面到等距矩形（ERP）投影作为预处理步骤，拉直极线曲线并恢复一维视差结构。基于我们之前提出的RAFT + 极线对齐通道选择（EACS）框架，本文探讨了该模块化管道在球面立体图像输入时的准确性。实验表明，该管道在合成鱼眼立体数据集上生成准确、平滑且结构一致的视差图，确认了已建立的ERP预处理与RAFT+EACS方法的有效结合。
🔬 方法详解
问题定义：本文旨在解决全向立体图像中视差估计的几何假设问题。现有方法在处理球面或鱼眼视图时，无法有效计算视差，导致结果不准确。
核心思路：通过采用球面到等距矩形（ERP）投影，将曲线极线转化为直线，从而恢复一维视差结构。这种设计使得后续的视差估计更加简单和准确。
技术框架：整体流程包括三个主要阶段：首先进行ERP投影以拉直极线；其次使用RAFT方法计算光流；最后通过对齐的光流组件提取视差。
关键创新：最重要的创新在于将ERP预处理与RAFT+EACS框架结合，形成一个模块化的处理管道，能够有效处理来自球面立体图像的输入。
关键设计：在技术细节上，采用了基于光流的视差计算方法，保留基线对齐的光流分量，确保视差图的平滑性和一致性。
📊 实验亮点
实验结果显示，采用球面到ERP再到RAFT+EACS的管道，生成的视差图在准确性和结构一致性上显著优于传统方法。具体而言，在合成鱼眼立体数据集上，视差图的生成速度达到了实时水平，且质量得到了有效提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和全景视频处理等。通过提供高质量的视差估计，该方法能够增强用户的沉浸感和交互体验，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Omnidirectional stereo images provide full-surround perception but violate the geometric assumptions of classical disparity estimation: in spherical or fisheye views, epipolar correspondences follow curved great-circle paths, producing two-dimensional displacements that cannot be treated as single-axis disparity before geometric rectification. In this work, we adopt a standard spherical-to-equirectangular (ERP) projection as a preprocessing step, which straightens epipolar curves and restores a one-dimensional disparity structure - horizontal for left-right rigs and vertical for top-bottom rigs. Building on our previously introduced RAFT + Epipolar-Aligned Channel Selection (EACS) framework, originally developed for rectilinear and ERP stereo, we examine whether the same modular pipeline remains accurate when the input originates from spherical stereo imagery. After ERP projection, dense optical flow from RAFT is reduced to disparity by retaining only the baseline-aligned flow component. Experiments on synthetic fisheye stereo datasets show that this spherical-to-ERP-to-RAFT+EACS pipeline produces accurate, smooth, and structurally consistent disparity maps at real-time speed. These findings confirm that established ERP preprocessing can be effectively combined with our earlier RAFT+EACS method to enable practical, interpretable, and efficient disparity estimation from spherical stereo, providing a straightforward pathway for extending conventional stereo pipelines to 360 imaging.