SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

📄 arXiv: 2606.27444v1 📥 PDF

作者: Jingfeng Mao, Xuyang Chen, Qilin Zhang, Oussema Dhaouadi, Guangming Wang, Brian Sheil, Daniel Cremers, Yan Xia, Olaf Wysocki

分类: cs.CV

发布日期: 2026-06-25

备注: accepted by ECCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SemCityLoc以解决无人机精确定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 航空定位 语义几何 3D城市模型 无人机导航 深度估计

📋 核心要点

  1. 现有的航空定位方法依赖于GNSS信号或复杂的3D重建，导致可扩展性差和部署受限。
  2. SemCityLoc通过语义几何对齐，将航空姿态估计转化为结构化表面配准，利用轻量级语义3D模型提高定位精度。
  3. 实验结果显示，SemCityLoc在城市峡谷环境中显著提高了定位性能，召回率提升36%，位置误差减少至2.62米。

📝 摘要（中文）

航空六自由度定位通常依赖于精确的GNSS信号或丰富的3D重建，这限制了其可扩展性和机载部署。我们提出了SemCityLoc，一个语义几何对齐系统，将航空姿态估计重新构建为基础模型导出的视觉先验与标准化的LoD兼容3D城市模型之间的结构化表面配准。我们的方法通过对齐语义表面和单目深度与轻量级的语义3D建筑模型，增强了在重复和遮挡的城市环境中的姿态可辨识性。为实现准确评估，我们引入了SemCityLockeD，这是第一个结合厘米级精确无人机姿态与标准化LoD1至LoD3语义城市模型及具有挑战性的低空影像的真实世界基准。实验表明，与现有基于地图的方法相比，召回率提高了36%，平均位置误差从9.89米降低到2.62米。

🔬 方法详解

问题定义：本论文旨在解决航空六自由度定位中的精确性和可扩展性问题。现有方法依赖于GNSS信号或复杂的3D重建，导致在城市环境中定位性能不足，尤其是在重复和遮挡的场景中。

核心思路：论文提出的SemCityLoc系统通过语义几何对齐，将航空姿态估计视为基础模型导出的视觉先验与标准化3D城市模型之间的结构化表面配准。这种方法避免了传统方法中对稀疏轮廓或密集纹理的匹配，转而对齐语义表面和单目深度，提升了在复杂城市环境中的姿态可辨识性。

技术框架：SemCityLoc的整体架构包括三个主要模块：首先是从城市模型中提取语义信息，其次是通过单目深度估计获取场景深度，最后进行语义几何对齐以实现高精度定位。

关键创新：本研究的关键创新在于将语义结构化几何引入航空定位中，提供了足够且可扩展的约束条件，从而在不依赖于辐射场景重建的情况下实现高精度定位。这一方法与现有基于地图的定位方法本质上不同，后者通常依赖于复杂的3D重建。

关键设计：在技术细节方面，SemCityLoc采用轻量级的语义3D建筑模型，并设计了特定的损失函数以优化语义对齐过程。此外，系统的参数设置经过精心调整，以确保在复杂城市环境中的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SemCityLoc在城市峡谷环境中的性能显著优于现有地图基方法，召回率提高了36%，平均位置误差从9.89米降低至2.62米，展示了其在复杂环境下的有效性和可靠性。

🎯 应用场景

SemCityLoc的研究成果在无人机导航、城市规划和智能交通系统等领域具有广泛的应用潜力。通过提供高精度的定位能力，该系统能够支持无人机在复杂城市环境中的自主飞行和任务执行，进而推动智能城市的发展和管理。

📄 摘要（原文）

Aerial 6DoF localization typically relies on precise GNSS signals or radiometrically rich 3D reconstructions, limiting scalability and on-board deployment. We propose SemCityLoc, a semantic-geometric alignment system that reframes aerial pose estimation as structured surface registration between foundation-model-derived visual priors and standardized LoD-compliant 3D city models. Instead of matching sparse contours or dense texture, our method aligns semantic surfaces and monocular depth with lightweight semantic 3D building models, increasing pose discriminability in repetitive and occluded urban environments. To enable accurate evaluation, we introduce SemCityLockeD, the first real-world benchmark combining centimeter-accurate UAV poses with standardized LoD1--LoD3 semantic city models and challenging low-altitude imagery. Experiments demonstrate substantial improvements over existing map-based approaches, improving recall by up to 36% and reducing mean positional error from 9.89m to 2.62m in challenging urban canyons. Our results indicate that semantically structured geometry provides sufficient and scalable constraints for high-precision aerial localization without radiometric scene reconstructions. The code and data are available at https://albertchen98.github.io/SemCityLoc.