Evaluating Depth-Augmented Visual Features for Cross-Dataset Lunar Traversability Estimation
作者: Jan Baturo, Bartosz Ptak
分类: cs.CV, cs.RO
发布日期: 2026-11-02
备注: Accepted for presentation at iSpaRo 2026
💡 一句话要点
提出弱监督框架以解决月球表面可 traversability 估计问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 月球探测 可 traversability 估计 弱监督学习 深度学习 多模态融合
📋 核心要点
- 现有的可 traversability 估计方法在地面类比环境与真实月球地形之间存在领域差距，限制了其泛化能力。
- 本文提出了一种基于稀疏成对注释的弱监督框架，探索通过深度衍生几何信息增强视觉特征的可能性。
- 实验结果显示，几何增强未能显著提升性能，而训练源的选择对迁移质量影响更大。
📝 摘要（中文）
自主移动对于持续的月球表面操作至关重要，但由于通信延迟和视线遮挡，连续远程操作受到限制。尽管近期的可 traversability 估计方法越来越依赖深度学习，但地面类比环境与真实月球地形之间的领域差距限制了其泛化能力，而真实的月球 traversability 标签稀缺，使得完全监督训练变得困难。为了解决这些挑战，本文构建了一个基于稀疏成对注释的弱监督框架，并研究了通过深度衍生几何信息（如深度、表面法线和组合几何描述符）增强视觉特征的有效性。实验结果表明，简单的几何增强未能在任何设置中显著提升性能，而训练源的选择成为迁移质量的主导因素。
🔬 方法详解
问题定义：本文旨在解决月球表面可 traversability 估计中的领域差距问题，现有方法在真实月球地形上泛化能力不足，且缺乏足够的标注数据进行完全监督训练。
核心思路：提出了一种弱监督框架，通过稀疏的成对注释进行训练，并探索将深度信息与视觉特征结合的效果，旨在提高模型在真实月球图像上的表现。
技术框架：整体架构包括数据预处理、特征提取、模型训练和评估四个主要模块。特征提取阶段结合了视觉特征和深度信息，训练阶段采用弱监督学习策略。
关键创新：最重要的创新在于提出了将深度衍生几何信息与视觉特征结合的思路，然而实验结果表明这种简单的几何增强未能带来预期的性能提升。
关键设计：在模型设计中，采用了稀疏成对注释作为训练数据，损失函数设计为适应弱监督学习的需求，网络结构则侧重于有效融合视觉和几何信息。实验还在资源受限的边缘设备上进行，确保了实际应用的可行性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，简单的几何增强未能在任何设置中显著提升性能，且与强视觉基线相比，效果相对较小。相反，训练源的选择对迁移质量影响显著，基于领域相关源训练的模型在真实月球图像上的表现优于几何融合策略。
🎯 应用场景
该研究的潜在应用领域包括月球探测和自动化机器人导航，能够为未来的月球表面操作提供更可靠的可 traversability 估计方法。通过改进的模型，未来的月球探测任务可以在更复杂的地形中实现自主移动，提升任务的成功率和效率。
📄 摘要（原文）
Autonomous mobility is essential for sustained lunar surface operations, as communication delays and line-of-sight occlusions limit continuous teleoperation. Although recent traversability estimation methods increasingly rely on deep learning, the domain gap between terrestrial analogue environments and real lunar terrain can limit their generalisation, and real lunar traversability labels are scarce, making fully supervised training difficult. To address these challenges, we build a weakly supervised framework trained on sparse pairwise annotations and study whether augmenting visual features with depth-derived geometric information: depth, surface normals, and combined geometric descriptors. We evaluate the models in both in-domain and cross-domain settings using two terrestrial analogue datasets and the real lunar Chang'E PCAM dataset. Contrary to expectations, we find that naive geometric augmentation yields no consistent improvement over a strong visual-only baseline in either setting, with effects small relative to seed-to-seed variance. Instead, the choice of training source emerges as the dominant factor in transfer quality: models trained on domain-relevant sources transfer substantially better to real lunar imagery than the geometric fusion strategy improves any single model. Our evaluation runs onboard a resource-constrained edge device and provides a controlled baseline for designing more expressive multimodal fusion architectures in future lunar perception systems.