Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Leveraging DINOv3 for Robust Outdoor Scene Understanding in Field Robotics

📄 arXiv: 2606.18582v1 📥 PDF

作者: Jaeil Park, Hyobin Choi, Sangjin Lee, Hyungtae Lim, Sung-Hoon Yoon

分类: cs.CV, cs.RO, eess.IV

发布日期: 2026-06-17

备注: 5 pages, 4 figures

💡 一句话要点

提出基于DINOv3的解决方案以提升户外场景理解能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 细粒度语义分割 自监督学习 DINOv3 Mask2Former 户外场景理解 机器人技术 多尺度增强

📋 核心要点

  1. 现有的语义分割方法在处理复杂的户外场景时，往往面临细粒度分类的挑战，导致分割精度不足。
  2. 本研究提出了一种新颖的网络设计，结合了自监督学习和多种增强策略，以提高模型在细粒度语义分割任务中的表现。
  3. 实验结果表明，所提方法在多个指标上均优于基线，特别是在细类和类别级mIoU上均有显著提升。

📝 摘要（中文）

在ICRA 2026的GOOSE 2D细粒度语义分割挑战中，我们提出了第一名的解决方案。该挑战评估了64个类和11个非空粗类的离路图像的密集语义分割。我们的解决方案包括两个互补的改进：一是结合自监督DINOv3 ViT-L/16主干网络、ViT-Adapter和Mask2Former掩码分类解码器的网络级设计，并在全局[CLS]标记上引入粗类辅助损失；二是基于多尺度和水平翻转测试时增强的推理时间聚合策略，以及使用Codabench分数选择的前三个检查点的集成。我们的方法在官方综合得分中达到了76.57%，其中细类mIoU为69.32%，类别级mIoU为83.81%，在最终阶段排行榜中排名第一。

🔬 方法详解

问题定义：本研究旨在解决户外场景的细粒度语义分割问题。现有方法在处理复杂场景时，往往无法有效区分相似类别，导致分割精度不足。

核心思路：我们提出的解决方案通过结合自监督的DINOv3主干网络和Mask2Former解码器，利用粗类辅助损失来增强模型的特征学习能力，从而提高细粒度分类的准确性。

技术框架：整体架构包括自监督DINOv3 ViT-L/16主干网络、ViT-Adapter和Mask2Former解码器。推理阶段采用多尺度和水平翻转增强策略，并通过集成前三个最佳检查点来提升性能。

关键创新：本研究的主要创新在于将自监督学习与细粒度语义分割相结合，利用DINOv3的特征提取能力和Mask2Former的解码能力，显著提升了模型在复杂场景下的表现。

关键设计：我们在网络设计中引入了粗类辅助损失，优化了全局[CLS]标记的学习。此外，推理阶段的多尺度测试和水平翻转增强策略有效提高了模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，我们的方法在官方综合得分中达到了76.57%，其中细类mIoU为69.32%，类别级mIoU为83.81%。这些结果相较于基线方法有显著提升，证明了所提方法在复杂户外场景下的有效性。

🎯 应用场景

该研究的成果可广泛应用于机器人导航、自动驾驶、农业监测等领域，尤其是在需要高精度环境理解的场景中。通过提升细粒度语义分割能力，能够更好地支持智能系统在复杂户外环境中的决策与操作。

📄 摘要（原文）

The GOOSE 2D Fine-Grained Semantic Segmentation Challenge at the ICRA 2026 Workshop on Field Robotics evaluates dense semantic segmentation of off-road imagery over a fine-grained taxonomy of 64 classes and 11 evaluated non-void coarse categories. We present the first-place solution to this challenge. Our solution comprises two complementary improvements: (a) a network-level design that combines a self-supervised DINOv3 ViT-L/16 backbone, a ViT-Adapter, and a Mask2Former mask-classification decoder, together with a coarse-category auxiliary loss on the global [CLS] token; and (b) an inference-time aggregation strategy based on multi-scale and horizontal-flip test-time augmentation and an ensemble of the top three checkpoints selected using Codabench scores. Our method achieves an official composite score of 76.57%, consisting of 69.32% fine-class mIoU and 83.81% category-level mIoU, and ranks first on the final phase leaderboard: www.codabench.org/competitions/14257/#/results-tab.