From Uncertainty to Determinism: Coarse-to-Fine Visual Floorplan Localization without Ray Matching
作者: Shiyong Meng, Bolei Chen, Ping Zhong, Yang Wan, Rongzhi Wang, Jiazhi Xia, Jianxin Wang
分类: cs.RO, cs.CV
发布日期: 2026-07-29
💡 一句话要点
提出粗到细的视觉平面图定位方法以解决多模态姿态分布问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉定位 室内导航 多模态学习 姿态估计 深度学习
📋 核心要点
- 现有的视觉平面图定位方法在处理多模态姿态分布时存在信息损失和资源消耗大的问题。
- 本文提出了一种粗到细的视觉FLoc框架，利用姿态扩散模型和局部精炼器来提高定位精度。
- 在S3D和ZInD基准上，本文方法实现了最先进的准确性和鲁棒性，展示了显著的性能提升。
📝 摘要（中文）
视觉平面图定位（FLoc）作为室内定位的有效解决方案，通过将自我中心图像与简约结构图进行匹配。然而，由于跨模态信息不对称和重复的室内布局，FLoc面临多模态姿态分布的挑战。现有的基于光线匹配的方法通过显式预测稀疏几何或语义光线来应对这一问题，但这会导致信息损失并需要资源密集的预处理和推理时的全面匹配。本文提出了一种粗到细的视觉FLoc框架，从不确定性到确定性，设计了图像条件的姿态扩散模型和局部精炼器，显著提高了定位精度和鲁棒性。实验结果表明，该方法在S3D和ZInD基准上达到了最先进的准确性。
🔬 方法详解
问题定义：本文旨在解决视觉平面图定位中的多模态姿态分布问题，现有方法依赖光线匹配，导致信息损失和高计算开销。
核心思路：提出一种粗到细的框架，首先通过图像条件的姿态扩散模型来处理不确定性，然后使用局部精炼器进行精细定位，避免了光线匹配的复杂性。
技术框架：整体框架分为两个阶段：粗略阶段使用姿态扩散模型生成候选姿态，精细阶段通过局部精炼器从候选中心的平面图裁剪中预测姿态残差。
关键创新：本研究的创新在于绕过光线匹配，直接从不确定性到确定性进行定位，显著提高了效率和准确性。
关键设计：设计了图像条件的姿态扩散模型和局部精炼器，采用了特定的损失函数来优化姿态预测，并在网络结构中引入了多模态信息处理机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在S3D和ZInD基准上达到了最先进的准确性，具体性能提升幅度超过了现有光线匹配方法，展示了在复杂室内环境中的优越性。
🎯 应用场景
该研究在室内定位、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高定位精度和效率，能够为智能家居、无人驾驶和虚拟现实等技术提供更可靠的支持，推动相关行业的发展。
📄 摘要（原文）
Visual Floorplan Localization (FLoc) has emerged as a promising solution for indoor localization by matching egocentric images against minimalist structural maps. However, due to cross-modal information asymmetry and repetitive indoor layouts, visual FLoc is fundamentally challenged by multimodal pose distributions, where visually identical observations map to distinct, spatially separated locations. Existing ray-matching-based methods tackle this by explicitly predicting sparse geometric or semantic rays, which inherently incur information loss and demand resource-intensive preprocessing alongside exhaustive matching during inference. In this paper, we bypass the intermediate ray-matching paradigm and propose a coarse-to-fine visual FLoc framework that progresses from uncertainty to determinism. In the coarse stage, we design an image-conditioned pose diffusion model to parameterize the continuous multimodal pose distribution, effectively routing stochastically initialized pose particles toward distinct candidate modes. In the refinement stage, we propose a localized refiner that predicts bounded sub-meter pose residuals from candidate-centered floorplan crops, where structural ambiguities are largely eliminated. Our method effectively balances global multi-hypothesis tracking and local sub-meter refinement without requiring any offline map preprocessing or test-time lookup tables. Comprehensive results on the S3D (full) and ZInD benchmarks demonstrate that our approach achieves state-of-the-art accuracy and robustness.