MobileARLoc: On-device Robust Absolute Localisation for Pervasive Markerless Mobile AR

📄 arXiv: 2401.11511v3 📥 PDF

作者: Changkun Liu, Yukun Zhao, Tristan Braud

分类: cs.CV

发布日期: 2024-01-21 (更新: 2024-02-04)

备注: Accepted for publication at the 3rd edition of the Pervasive and Resource-Constrained AI (PerConAI) workshop (co-located with PerCom 2024). This article supersedes arXiv:2308.05394

💡 一句话要点

提出MobileARLoc以解决移动AR中的绝对定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 移动增强现实 绝对定位 视觉惯性里程计 姿态估计 反馈机制 深度学习 计算机视觉

📋 核心要点

  1. 现有的绝对姿态估计技术计算和存储需求高，导致AR系统依赖VIO进行相对姿态跟踪，但VIO存在漂移问题。
  2. MobileARLoc框架结合APR与VIO，通过反馈循环提高APR的准确性，减少VIO漂移，提供快速的设备内姿态估计。
  3. 实验结果表明，MobileARLoc的误差较APR减少了一半，且实现了80毫秒的快速推理速度，显著提升了性能。

📝 摘要（中文）

近年来，绝对相机姿态估计技术取得了显著进展，为无标记增强现实（AR）的普及奠定了基础。然而，现有的绝对姿态估计方法计算和存储需求高，通常需要计算卸载。AR系统依赖视觉惯性里程计（VIO）在请求服务器之间跟踪设备的相对姿态，但VIO存在漂移问题，需频繁进行绝对重定位。本文提出了MobileARLoc，一个新的框架，结合了绝对姿态回归器（APR）和本地VIO跟踪系统。MobileARLoc通过反馈循环来提高APR的准确性并减少VIO漂移，最终在数据集模拟中评估，显示出相较于APR的误差减少了一半，并实现了快速的（80毫秒）设备内推理速度。

🔬 方法详解

问题定义：本文旨在解决移动AR中绝对定位的准确性和计算效率问题。现有方法通常计算和存储需求高，导致AR系统依赖VIO进行相对姿态跟踪，但VIO存在漂移问题，需频繁进行绝对重定位。

核心思路：MobileARLoc框架通过结合绝对姿态回归器（APR）和本地VIO跟踪系统，利用反馈循环来提高APR的准确性，并减少VIO的漂移。APR提供快速的设备内姿态估计，而VIO则用于修正APR的预测。

技术框架：MobileARLoc的整体架构包括APR和VIO两个主要模块。APR负责快速估计相机的绝对姿态，而VIO则在每次请求之间跟踪相对姿态。两者通过反馈机制相互作用，提升整体定位精度。

关键创新：MobileARLoc的创新在于引入了APR与VIO的反馈循环机制，使得VIO能够识别APR的可靠预测，从而有效补偿VIO的漂移。这一设计显著提高了定位的准确性和稳定性。

关键设计：在参数设置上，APR的设计考虑了速度与准确性的平衡，采用了适合移动设备的轻量级网络结构。损失函数则结合了绝对姿态误差与相对姿态误差，以确保模型在不同场景下的鲁棒性。整体系统经过优化，确保了在设备内实现80毫秒的推理速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MobileARLoc的定位误差较基础APR减少了一半，且实现了80毫秒的快速设备内推理速度。这一性能提升使得MobileARLoc在实际应用中具有更高的实用性和可靠性，能够有效应对移动AR中的定位挑战。

🎯 应用场景

MobileARLoc在移动增强现实领域具有广泛的应用潜力，能够为游戏、导航、教育等场景提供高效、准确的绝对定位服务。其快速的推理速度和高精度的定位能力将推动无标记AR技术的普及，提升用户体验。未来，该技术还可能与其他传感器融合，进一步增强定位的鲁棒性和准确性。

📄 摘要（原文）

Recent years have seen significant improvement in absolute camera pose estimation, paving the way for pervasive markerless Augmented Reality (AR). However, accurate absolute pose estimation techniques are computation- and storage-heavy, requiring computation offloading. As such, AR systems rely on visual-inertial odometry (VIO) to track the device's relative pose between requests to the server. However, VIO suffers from drift, requiring frequent absolute repositioning. This paper introduces MobileARLoc, a new framework for on-device large-scale markerless mobile AR that combines an absolute pose regressor (APR) with a local VIO tracking system. Absolute pose regressors (APRs) provide fast on-device pose estimation at the cost of reduced accuracy. To address APR accuracy and reduce VIO drift, MobileARLoc creates a feedback loop where VIO pose estimations refine the APR predictions. The VIO system identifies reliable predictions of APR, which are then used to compensate for the VIO drift. We comprehensively evaluate MobileARLoc through dataset simulations. MobileARLoc halves the error compared to the underlying APR and achieve fast (80\,ms) on-device inference speed.