SemanticXR: Low Power and Real-time Queryable Semantic Mapping with an Object-Level Device-Cloud Architecture
作者: Rahul Singh, Devdeep Ray, Connor Smith, Sarita Adve
分类: cs.DC, cs.CV, cs.RO
发布日期: 2026-06-12
💡 一句话要点
提出SemanticXR以解决移动XR设备的语义映射问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 语义映射 增强现实 低功耗 设备-云架构 实时查询 对象级处理 带宽优化
📋 核心要点
- 现有语义映射方法计算密集，无法在移动XR设备上有效运行，且通常依赖于服务器级资源。
- SemanticXR通过将语义对象提升为第一类单元，实现了设备与云之间的高效通信和执行，降低了功耗和延迟。
- 与基线系统相比，SemanticXR在服务器端的映射延迟提高了2.2倍，同时保持了相同的语义质量。
📝 摘要（中文）
语义映射是增强现实（XR）应用中实现基础交互的核心服务，如AI助手和空间物体搜索。在移动XR设备上部署此能力需要一个开放词汇、实时且低功耗的系统。现有方法计算密集，假设有服务器级资源。云卸载提供了一个实用路径，但没有现有系统能够在设备与云之间分割语义映射并管理其通信、执行和内存占用。我们提出了SemanticXR，这是第一个在XR功耗、带宽和内存限制下实现实时开放词汇语义映射和查询的设备-云系统。我们的关键见解是将语义可识别对象提升为设备和服务器之间通信、执行和内存的第一类单元。
🔬 方法详解
问题定义：本论文旨在解决移动XR设备上实时语义映射的挑战，现有方法通常依赖于高性能服务器，无法满足低功耗和实时性的需求。
核心思路：论文提出的核心思路是将语义可识别对象视为设备与云之间的第一类单元，从而优化通信、执行和内存管理。通过这种方式，系统能够在资源受限的环境中实现高效的语义映射。
技术框架：SemanticXR的整体架构包括设备端和云端两个主要模块。设备端使用稀疏本地地图进行增量更新，云端则利用对象级并行处理和几何下采样来提高映射效率。
关键创新：SemanticXR的主要创新在于对象级的资源配置与质量权衡，使得系统能够根据应用需求和操作条件动态调整映射策略。这一设计显著提升了服务器端的映射延迟和带宽利用率。
关键设计：在技术细节上，SemanticXR采用了对象级深度映射的协同设计，确保上游带宽保持在2.5 Mbps以下，同时在设备端支持高达10,000个对象的查询，且内存占用不超过500 MB。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SemanticXR在服务器端的映射延迟提高了2.2倍，同时保持相同的语义质量。设备端在网络波动情况下仍能维持低于100毫秒的查询延迟，且在正常操作下仅增加2%的设备功耗。
🎯 应用场景
该研究的潜在应用领域包括增强现实助手、空间物体搜索和智能家居等场景。通过实现低功耗和实时的语义映射，SemanticXR能够提升用户体验，推动XR技术的广泛应用，特别是在资源受限的移动设备上。
📄 摘要（原文）
Semantic mapping is a core service that enables grounded interactions in emerging Extended Reality (XR) applications such as AI assistants and spatial object search. Deploying this capability on mobile XR devices requires a system that is open-vocabulary, real-time, and low-power. Existing approaches are compute-intensive and assume server-class resources. Cloud offloading offers a practical path, but no existing system splits semantic mapping across the device-cloud boundary or manages its communication, execution, and memory footprint.We present SemanticXR, the first device-cloud system for real-time, open-vocabulary semantic mapping and querying under XR power, bandwidth, and memory constraints. Our key insight is to elevate semantically identifiable objects to first-class units of communication, execution, and memory across the device and server. On the server, object-level parallelism and geometry downsampling improve mapping latency, while object-level depth-mapping co-design reduces upstream bandwidth. On the device, an object-level sparse local map with incremental updates and update prioritization enables network-robust querying with bounded memory and downstream bandwidth. Object-level configurable resource usage vs. quality trade-offs let applications and the system adapt mapping to application requirements and operating conditions, respectively.Against a device-cloud baseline with the same perception models, object-level organization improves server-side mapping latency by 2.2X at equal semantic quality. Depth-mapping co-design maintains upstream bandwidth under 2.5 Mbps. On the device, SemanticXR sustains sub-100 ms query latency for up to 10,000 objects even under network drops, supports tens of thousands of objects within 500 MB, and scales downstream bandwidth with map changes, not total scene size. The system adds only 2% device power during normal operation.