FloVerse: Floor Plan-Guided Multi-Modal Navigation
作者: Weiqi Huang, Shuangyi Dong, Jiaxin Li, Yifei Guo, Zan Wang, Wei Liang
分类: cs.RO
发布日期: 2026-06-12
备注: Accepted at CVPR 2026
💡 一句话要点
提出FloVerse以解决多模态导航中的空间先验问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 平面图导航 多模态学习 模仿学习 空间先验 机器人导航 深度学习
📋 核心要点
- 现有的基于平面图的导航方法主要集中在PointNav和有限的环境，缺乏对多模态导航的全面支持。
- 论文提出FloVerse任务，统一了PointNav、ObjectNav和ImageNav，并构建了包含1600个场景的大规模数据集FloVerse-1.6K。
- 实验结果显示，平面图先验显著提升了导航性能，ThreeDiff有效捕捉了空间信息，验证了方法的有效性。
📝 摘要（中文）
平面图封装了紧凑的空间先验，使得智能体能够更高效地在未见场景中导航。尽管已有研究探讨了基于平面图的导航，但主要集中在PointNav和有限的环境上。为此，我们提出FloVerse，这是一项新的任务，统一了PointNav、ObjectNav和ImageNav。为支持FloVerse，我们组建了FloVerse-1.6K，这是一个包含来自HM3D和Gibson 4+的1600个场景的大规模数据集，配有相应的平面图，包含240K专家轨迹和1200万RGBD帧。我们进一步提出了ThreeDiff，这是一种两阶段模仿学习策略，包括一个规划器、一个基于扩散的多模态目标推理模块和一个基于深度的轨迹优化模块。大量实验表明，平面图先验提升了所有目标模态的导航性能，ThreeDiff隐式捕捉了平面图中的空间信息。这些结果强调了空间先验的有效性，并验证了我们提出的基于平面图的统一导航方法。
🔬 方法详解
问题定义：本论文旨在解决现有基于平面图的导航方法在多模态环境中的不足，尤其是在PointNav和ObjectNav等任务中的局限性。现有方法未能充分利用空间先验，导致导航效率低下。
核心思路：论文提出FloVerse任务，通过统一不同的导航任务，利用平面图提供的空间先验，提升智能体在复杂环境中的导航能力。设计了ThreeDiff策略，结合规划、目标推理和轨迹优化，确保安全有效的导航。
技术框架：整体架构包括三个主要模块：规划器负责生成初步导航路径，基于扩散的多模态目标推理模块通过掩蔽模态建模进行训练，轨迹优化模块则基于深度信息进行安全执行的轨迹优化。
关键创新：ThreeDiff的设计是本研究的核心创新，尤其是其结合了多模态推理和深度轨迹优化的两阶段策略，与传统方法相比，能够更好地利用空间信息。
关键设计：在ThreeDiff中，采用了特定的损失函数来平衡不同模态的学习，网络结构设计上，规划器和优化器之间的交互被精心设计，以确保信息的有效传递和利用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用平面图先验后，导航性能在所有目标模态上均有显著提升，ThreeDiff在多个基线测试中表现优异，展示了其在复杂场景中的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人导航和增强现实等场景。通过有效利用平面图的空间先验，智能体能够在复杂环境中实现更高效的导航，提升用户体验和安全性。未来，该方法有望在自动驾驶和无人机导航等领域发挥重要作用。
📄 摘要（原文）
Floor plans encapsulate compact spatial priors, enabling agents to navigate unseen scenes more efficiently. While prior work has explored floor plan-guided navigation, it has focused mainly on PointNav and a limited set of environments. To bridge this gap, we introduce FloVerse, a new task for floor plan-guided embodied navigation that unifies PointNav, ObjectNav, and ImageNav. To support FloVerse, we assemble FloVerse-1.6K, a large-scale dataset of 1.6K scenes from HM3D and Gibson 4+, paired with corresponding floor plans, comprising 240K expert trajectories and 12M RGBD frames. We further propose ThreeDiff, a two-stage imitation learning policy comprising a planner, a diffusion-based multimodal goal-reasoning module trained via masked-modality modeling, and a refiner, a depth-based trajectory-refinement module for safe execution. Extensive experiments demonstrate that (1) floor-plan priors improve navigation performance across all goal modalities, and (2) ThreeDiff implicitly captures spatial information from floor plans. These results underscore the effectiveness of spatial priors and validate our proposed unified approach for floor plan-guided embodied navigation.