WildCross: A Cross-Modal Large Scale Benchmark for Place Recognition and Metric Depth Estimation in Natural Environments

📄 arXiv: 2603.01475v1 📥 PDF

作者: Joshua Knights, Joseph Reid, Kaushik Roy, David Hall, Mark Cox, Peyman Moghadam

分类: cs.CV

发布日期: 2026-03-02

备注: IEEE International Conference on Robotics & Automation (ICRA) 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

WildCross：用于自然环境场景识别和度量深度估计的跨模态大规模基准

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景识别 度量深度估计 跨模态学习 机器人数据集 自然环境

📋 核心要点

  1. 现有机器人数据集主要集中于结构化城市环境，难以应对复杂自然环境的挑战。
  2. WildCross数据集提供RGB图像、深度、表面法线、6DoF位姿和激光雷达子图，用于跨模态场景理解。
  3. 实验验证了WildCross在视觉、激光雷达和跨模态场景识别以及度量深度估计方面的有效性。

📝 摘要（中文）

本文提出了WildCross，一个用于大规模自然环境中场景识别和度量深度估计的跨模态基准数据集。现有的机器人数据集主要集中在结构化的城市环境中，无法满足复杂、非结构化自然环境的需求。WildCross包含超过47.6万帧连续的RGB图像，带有半稠密的深度和表面法线标注，每帧图像都与精确的6DoF位姿和同步的稠密激光雷达子图对齐。论文在视觉、激光雷达和跨模态场景识别以及度量深度估计方面进行了全面的实验，验证了WildCross作为多模态机器人感知任务具有挑战性的基准的价值。代码和数据集可在https://csiro-robotics.github.io/WildCross获取。

🔬 方法详解

问题定义：论文旨在解决机器人技术在非结构化自然环境中应用的数据集匮乏问题。现有数据集主要针对城市环境，无法满足自然环境场景识别和度量深度估计的需求，阻碍了相关算法的开发和评估。

核心思路：论文的核心思路是构建一个大规模、多模态的自然环境数据集，包含RGB图像、深度信息、位姿信息和激光雷达数据，从而为研究者提供一个统一的基准平台，促进相关算法的研发。

技术框架：WildCross数据集的构建流程主要包括数据采集、数据标注和数据对齐三个阶段。数据采集使用配备多种传感器的机器人平台在自然环境中进行。数据标注包括深度信息和表面法线的标注，采用半稠密的方式以提高效率。数据对齐则将不同模态的数据与精确的6DoF位姿进行同步和对齐。

关键创新：WildCross的关键创新在于其数据集的规模、模态和场景。数据集规模庞大，包含超过47.6万帧图像。数据集模态丰富，包含RGB图像、深度信息、表面法线、6DoF位姿和激光雷达数据。数据集场景为非结构化的自然环境，更具挑战性。

关键设计：数据集的标注采用半稠密的方式，在保证标注质量的同时，提高了标注效率。位姿信息采用高精度定位系统获取，保证了位姿的准确性。数据集提供了多种评估指标，方便研究者进行算法性能的比较。

📊 实验亮点

论文在WildCross数据集上进行了视觉、激光雷达和跨模态场景识别以及度量深度估计的实验。实验结果表明，WildCross数据集具有挑战性，能够有效评估不同算法的性能。论文还提供了基线算法的性能数据，为后续研究提供了参考。

🎯 应用场景

WildCross数据集可广泛应用于机器人导航、环境感知、三维重建等领域。它能够促进机器人技术在农业、林业、矿业等自然环境中的应用，例如农作物监测、森林资源调查、矿产勘探等。该数据集的发布将推动多模态融合算法的发展，提升机器人在复杂环境下的适应性和鲁棒性。

📄 摘要（原文）

Recent years have seen a significant increase in demand for robotic solutions in unstructured natural environments, alongside growing interest in bridging 2D and 3D scene understanding. However, existing robotics datasets are predominantly captured in structured urban environments, making them inadequate for addressing the challenges posed by complex, unstructured natural settings. To address this gap, we propose WildCross, a cross-modal benchmark for place recognition and metric depth estimation in large-scale natural environments. WildCross comprises over 476K sequential RGB frames with semi-dense depth and surface normal annotations, each aligned with accurate 6DoF poses and synchronized dense lidar submaps. We conduct comprehensive experiments on visual, lidar, and cross-modal place recognition, as well as metric depth estimation, demonstrating the value of WildCross as a challenging benchmark for multi-modal robotic perception tasks. We provide access to the code repository and dataset at https://csiro-robotics.github.io/WildCross.