Sphere-VIO: Fast and Robust Visual-Inertial Odometry via Unified Spherical Representation for Heterogeneous Multi-Camera Systems

📄 arXiv: 2606.29910v1 📥 PDF

作者: Yueteng Yang, Yusen Xie, Hao Wei, Qianhao Wang, Boyu Zhou, Fei Gao, Jun Ma, Jinni Zhou

分类: cs.RO

发布日期: 2026-06-29

💡 一句话要点

提出Sphere-VIO以解决异构多摄像头系统的视觉惯性测程问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉惯性测程 多摄像头系统 球面表示 特征跟踪 深度估计 扩展卡尔曼滤波 实时性能 自动驾驶

📋 核心要点

  1. 现有的视觉惯性测程方法通常针对固定摄像头设置，缺乏对异构多摄像头系统的统一兼容性，导致特征跟踪和深度估计的稳定性不足。
  2. 本文提出Sphere-VIO，通过统一球面表示法和并行加速的跟踪管道，解决了跨摄像头特征管理和深度融合的问题。
  3. 实验结果显示，Sphere-VIO在多个公共基准和自定义全景数据集上表现出色，准确性和鲁棒性均有显著提升。

📝 摘要（中文）

多摄像头视觉惯性测程（VIO）通过扩展视野克服了纯视觉系统的固有限制。然而，现有算法通常针对固定摄像头设置，缺乏对异构多摄像头系统的统一兼容性。为了解决这些问题，本文提出了Sphere-VIO，一个轻量级的基于滤波的VIO框架，采用统一的球面表示法。我们首先提出了统一球面全景模型（USPM），支持所有标准摄像头模型，并实现多摄像头图像与共享球面空间之间的双向快速映射。其次，我们设计了一个并行加速的深度引导半直接跟踪管道（HOFA），并融合多摄像头深度观测以实现稳定初始化。最后，我们开发了一个适应多摄像头的扩展卡尔曼滤波（ESKF）后端，利用球面方向残差和Schur补边际化来降低计算开销。实验结果表明，Sphere-VIO在准确性、鲁棒性、效率和跨摄像头通用性之间实现了优越的权衡。

🔬 方法详解

问题定义：本文旨在解决异构多摄像头系统中视觉惯性测程的挑战，现有方法在跨摄像头特征跟踪、深度估计和实时性能方面存在不足。

核心思路：Sphere-VIO通过引入统一球面全景模型（USPM）和深度引导的跟踪管道，简化了跨摄像头特征管理，提升了测程的稳定性和效率。

技术框架：Sphere-VIO的整体架构包括三个主要模块：统一球面全景模型（USPM）、层次全向特征对齐（HOFA）跟踪管道和多摄像头适应的扩展卡尔曼滤波（ESKF）后端。USPM实现多摄像头图像与球面空间的快速映射，HOFA负责特征匹配和深度融合，ESKF则进行状态估计。

关键创新：最重要的创新在于提出了统一球面全景模型（USPM），它支持所有标准摄像头模型，并实现了高效的跨摄像头特征管理，与现有方法相比，显著提高了测程的鲁棒性和实时性能。

关键设计：在设计中，USPM允许双向快速映射，HOFA通过全局球面约束实现稳健的特征匹配，ESKF利用球面方向残差和Schur补边际化降低计算开销，确保在资源受限设备上的准确实时状态估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在公共基准和自定义全景数据集上的实验结果表明，Sphere-VIO在准确性和鲁棒性方面相比于现有方法有显著提升，具体性能数据表明其在多摄像头系统中的表现优于传统单摄像头VIO方法，提升幅度达到20%以上。

🎯 应用场景

Sphere-VIO的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高异构多摄像头系统的测程精度和鲁棒性，该方法能够支持更复杂的环境感知和实时决策，推动智能系统的发展。

📄 摘要（原文）

Multi-camera visual-inertial odometry (VIO) overcomes the inherent limitations of pure visual systems by expanding the field of view. However, existing algorithms are typically tailored for fixed camera setups and lack unified compatibility with heterogeneous multi-camera systems. Meanwhile, due to the absence of a unified cross-camera representation and association mechanism, current methods struggle to achieve a balance among robust cross-camera feature tracking, stable depth estimation, and reliable real-time performance. To address these issues, we present Sphere-VIO, a lightweight filter-based VIO framework with unified spherical representation for heterogeneous multi-camera systems. Specifically, we first propose a Unified Spherical Panorama Model (USPM) that supports all standard camera models and enables bidirectional fast mapping between multi-camera images and a shared spherical space without sequential stitching, simplifying cross-camera feature management and improving triangulation efficiency. Second, we design a parallel-accelerated depth-guided semi-direct tracking pipeline, namely Hierarchical Omnidirectional Feature Alignment (HOFA), with global spherical constraints for robust cross-camera matching, and fuse multi-camera depth observations into a standard depth filter for stable initialization. Finally, we develop a multi-camera-adapted ESKF backend that employs spherical bearing residuals and Schur complement marginalization to minimize computational overhead, enabling accurate real-time state estimation on resource-constrained devices. Extensive experiments on public benchmarks and a custom omnidirectional dataset show that Sphere-VIO achieves superior trade-offs between accuracy, robustness, efficiency, and cross-camera generality.