XR Reality Check: What Commercial Devices Deliver for Spatial Tracking

📄 arXiv: 2508.08642v1 📥 PDF

作者: Tianyi Hu, Tianyuan Du, Zhehan Qu, Maria Gorlatova

分类: eess.SY

发布日期: 2025-08-12

💡 一句话要点

提出标准化框架以评估XR设备的空间跟踪性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 空间跟踪 扩展现实 性能评估 测试平台 基准测试 虚拟现实 增强现实 数据分析

📋 核心要点

  1. 现有XR设备在空间跟踪中存在显著的误差，影响用户体验和交互质量。
  2. 本文提出了一种新颖的测试平台，能够在相同条件下同步评估多个XR设备的性能。
  3. 实验结果表明，设备间性能差异可达2.8倍，且跟踪精度与环境特征密切相关。

📝 摘要（中文）

在扩展现实（XR）设备中，不准确的空间跟踪会导致虚拟物体抖动、错位和用户不适，从而限制沉浸式体验和自然交互。本文介绍了一种新颖的测试平台，能够在相同的环境和运动条件下对多个XR设备进行同步评估。我们首次对五款先进XR设备在16种不同场景下进行了全面的实证基准测试，结果显示设备间性能差异显著，某些设备在无特征环境中误差增加高达101%。此外，跟踪精度与视觉条件和运动动态密切相关。我们还探讨了将Apple Vision Pro替代运动捕捉系统作为实际基准的可行性，尽管其相对位姿误差估计准确性高，但绝对位姿误差估计仍有限。该研究为XR跟踪评估建立了首个标准化框架，提供了可重复的方法论、基准数据集和开源工具，推动XR系统空间感知技术的进一步发展。

🔬 方法详解

问题定义：本文旨在解决XR设备在空间跟踪中存在的准确性不足问题，现有方法未能有效评估不同设备在多种环境下的表现，导致用户体验受限。

核心思路：通过构建一个新颖的测试平台，能够在相同的环境和运动条件下对多个XR设备进行同步评估，从而实现全面的性能比较。

技术框架：该平台包括多个模块，首先是环境设置模块，确保所有设备在相同条件下测试；其次是数据采集模块，实时记录各设备的跟踪数据；最后是数据分析模块，对比不同设备的性能。

关键创新：本研究的创新点在于首次建立了一个标准化的XR跟踪评估框架，提供了可重复的方法论和基准数据集，填补了现有研究的空白。

关键设计：在测试中，采用了多种环境特征设置，并对设备的传感器配置和处理单元进行了详细分析，以确保评估的全面性和准确性。实验中使用的损失函数和数据处理方法也经过精心设计，以提高结果的可靠性。

📊 实验亮点

实验结果显示，某些XR设备在无特征环境下的误差增加高达101%，而设备间的性能差异可达2.8倍。此外，Apple Vision Pro在相对位姿误差估计方面表现优异，$R^2 = 0.830$，但其绝对位姿误差估计仍存在局限性，$R^2 = 0.387$。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和混合现实等XR技术的开发与优化。通过提供标准化的评估框架，研究者和开发者可以更有效地比较不同设备的性能，从而推动更高效、更准确的空间跟踪技术的实现，提升用户体验。

📄 摘要（原文）

Inaccurate spatial tracking in extended reality (XR) devices leads to virtual object jitter, misalignment, and user discomfort, fundamentally limiting immersive experiences and natural interactions. In this work, we introduce a novel testbed that enables simultaneous, synchronized evaluation of multiple XR devices under identical environmental and kinematic conditions. Leveraging this platform, we present the first comprehensive empirical benchmarking of five state-of-the-art XR devices across 16 diverse scenarios. Our results reveal substantial intra-device performance variation, with individual devices exhibiting up to 101\% increases in error when operating in featureless environments. We also demonstrate that tracking accuracy strongly correlates with visual conditions and motion dynamics. We also observe significant inter-device disparities, with performance differences of up to 2.8$\times$, which are closely linked to hardware specifications such as sensor configurations and dedicated processing units. Finally, we explore the feasibility of substituting a motion capture system with the Apple Vision Pro as a practical ground truth reference. While the Apple Vision Pro delivers highly accurate relative pose error estimates ($R^2 = 0.830$), its absolute pose error estimation remains limited ($R^2 = 0.387$), highlighting both its potential and its constraints for rigorous XR evaluation. This work establishes the first standardized framework for comparative XR tracking evaluation, providing the research community with reproducible methodologies, comprehensive benchmark datasets, and open-source tools that enable systematic analysis of tracking performance across devices and conditions, thereby accelerating the development of more robust spatial sensing technologies for XR systems.