Metric Scale for Insta360 Structure-from-Motion from the Camera's Embedded IMU

📄 arXiv: 2610.35554v1 📥 PDF

作者: Davide Cuttini, Diego Di Tommaso, Alessio Antoniacomi, Luca Simonetti

分类: cs.CV

发布日期: 2026-10-26

备注: 17 pages, 9 figures, 4 tables. Dataset: https://huggingface.co/datasets/OverTheReality/OverMaps360_50

💡 一句话要点

提出基于IMU的度量尺度恢复方法以解决SfM中的尺度不确定性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 结构光束 尺度恢复 IMU传感器 视觉惯性对齐 360度相机 虚拟现实 增强现实

📋 核心要点

  1. 现有的SfM方法通常只能恢复相似变换，导致度量尺度的不确定性，影响结果的准确性。
  2. 本研究提出利用Insta360相机内置IMU传感器，以1 kHz的频率记录数据，从而实现更精确的尺度恢复。
  3. 在九个与LiDAR扫描仪共同使用的调查中，IMU恢复的尺度与LiDAR的偏差仅为0.74%，显著优于传统智能手机方法。

📝 摘要（中文）

本论文探讨了如何从消费级360度相机的双鱼眼视频中恢复结构光束（SfM）中的度量尺度。传统方法依赖于智能手机的ARKit或ARCore姿态，而本文提出了一种自包含的替代方案，利用Insta360 X5和X6相机中嵌入的IMU传感器。通过对IMU的特性进行评估，估计相机与IMU的旋转和时间帧，并通过线性视觉惯性对齐从SfM姿态中恢复尺度。实验结果显示，采用IMU的尺度恢复方法在多个测试中表现出色，平均绝对误差仅为0.74%。

🔬 方法详解

问题定义：本论文旨在解决传统SfM方法中尺度恢复的不确定性问题，现有方法依赖于外部设备（如智能手机）进行尺度获取，存在误差和依赖性问题。

核心思路：通过利用Insta360相机内置的IMU传感器，记录高频率的运动数据，结合视觉信息进行线性视觉惯性对齐，从而实现更准确的尺度恢复。

技术框架：整体流程包括IMU数据的采集与特性评估、相机与IMU的旋转和时间帧估计，以及基于SfM姿态的尺度恢复。主要模块包括数据预处理、对齐算法和尺度估计。

关键创新：本研究的创新之处在于利用IMU传感器进行尺度恢复，克服了传统方法的局限性，提供了一种自包含的解决方案，减少了对外部参考的依赖。

关键设计：在IMU特性评估中，考虑了噪声密度、加速度计标定和偏置稳定性等因素，采用了共享重力和加速度计偏差的标准公式，改进了连续段的独立估计方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IMU恢复的尺度在与LiDAR的比较中，平均绝对误差仅为0.74%，而传统智能手机方法的误差为1.94%。在多个测试场景中，IMU方法的表现优于传统方法，显示出其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和无人驾驶等需要高精度定位和地图构建的场景。通过提高SfM的尺度恢复精度，可以显著提升这些应用的用户体验和系统性能，推动相关技术的发展。

📄 摘要（原文）

Structure-from-motion (SfM) from the dual-fisheye video of a consumer 360-degree camera recovers geometry only up to a similarity transform; in the pipeline considered here, metric scale is obtained from smartphone ARKit or ARCore poses captured alongside the camera. This paper evaluates a self-contained alternative: the IMU embedded in the Insta360 X5 and X6, recorded at 1 kHz. The sensor is characterised (noise density, camera-IMU synchronisation, accelerometer scale factor, bias stability), the camera-IMU rotation and frame timing are estimated from the data, and the scale is recovered by a linear visual-inertial alignment over the SfM poses of a whole survey. The standard formulation, with gravity and accelerometer bias shared across the survey, overestimates the scale by 3.4% on average; estimating each contiguous segment independently and averaging removes the bias. On nine surveys with a co-mounted LiDAR scanner the inertial scale deviates from the LiDAR by 0.74% in mean absolute error, against 1.94% for the smartphone scale; on printed fiducial markers both agree within the 1% uncertainty of the target. On the reference trajectories of thirty sequences of a public benchmark, brought to scales of 1/40, 1 and 40, the estimator recovers the metric scale with a mean error of -0.07% and a standard deviation of 1.28%. On fifty production surveys where the smartphone is the only reference, the two scales agree to a standard deviation of 2.6%, the inertial scale being 0.9% lower on average; the difference does not depend on window construction, grows with the extent of the smartphone anchor, and cannot be attributed to either reference. An ablation over window construction and a comparison with monocular metric-depth networks complete the study.