Technical Report for the ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Pretraining-Diverse Ensemble of Foundation Vision Encoders for Robust Outdoor Scene Understanding

📄 arXiv: 2606.23113v1 📥 PDF

作者: Boyan Wang, Yongxi Huang, Wenjing Li, Tianrui Hui, Shaofei Huang, Nan Pu, Zhun Zhong

分类: cs.CV

发布日期: 2026-06-22

💡 一句话要点

提出多样化预训练集成方法以解决户外场景理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 细粒度语义分割 基础视觉编码器 Mask2Former 预训练集成 户外场景理解

📋 核心要点

  1. 核心问题：现有的语义分割方法在处理复杂的户外场景时，往往难以准确解析细粒度类别，导致性能不足。
  2. 方法要点：本研究提出了一种将多种基础视觉编码器与Mask2Former解码器相结合的集成方法，通过优化预训练策略提升模型性能。
  3. 实验或效果：在官方测试集上，我们的方法实现了75.40%的综合mIoU，获得了挑战的第二名，显示出显著的性能提升。

📝 摘要（中文）

本报告展示了我们在ICRA 2026 GOOSE 2D细粒度语义分割挑战中的解决方案，该挑战要求将来自四个相机平台的非结构化户外场景解析为56个细粒度类别。我们的方法将基础视觉编码器（包括DINOv3、SigLIP2和InternImage）与Mask2Former解码器相结合，并采用长训练周期、指数移动平均、大裁剪尺寸以及多尺度和翻转测试时间增强等强大训练策略。通过每类验证IoU加权，我们将三种编码器组合成一个多样化的预训练集成。在官方GOOSE测试集上的评估结果显示，我们的提交达到了75.40%的综合mIoU，并获得挑战的第二名。我们的研究进一步表明，编码器的预训练策略是该基准上准确性的主导因素，而非参数数量或解码器设计。

🔬 方法详解

问题定义：本研究旨在解决在复杂户外场景中进行细粒度语义分割的挑战。现有方法在解析多样化和非结构化场景时，准确性和鲁棒性不足，尤其是在细粒度类别的识别上存在困难。

核心思路：我们提出了一种多样化的预训练集成方法，结合了多种基础视觉编码器和Mask2Former解码器。通过选择具有互补预训练目标的编码器，并利用每类的验证IoU进行加权，增强了模型的整体性能。

技术框架：整体架构包括三个主要模块：基础视觉编码器（DINOv3、SigLIP2、InternImage）、Mask2Former解码器以及训练策略模块。训练策略模块采用长训练周期、指数移动平均、大裁剪尺寸和多尺度增强等技术，以提高模型的泛化能力。

关键创新：本研究的关键创新在于通过多样化的预训练集成方法，显著提升了模型在复杂场景下的语义分割性能。与现有方法相比，我们的方法更注重编码器的预训练策略，而非单纯依赖于参数数量或解码器设计。

关键设计：在训练过程中，我们采用了长时间的训练周期和指数移动平均来稳定模型的学习过程。同时，使用较大的裁剪尺寸和多尺度测试增强，进一步提高了模型在不同场景下的适应性和准确性。

📊 实验亮点

在官方GOOSE测试集上，我们的方法实现了75.40%的综合mIoU，较基线方法有显著提升，获得了挑战的第二名。这一结果表明，优化的预训练策略在提升模型性能方面起到了关键作用。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能监控等。通过提高户外场景的细粒度理解能力，能够为这些领域提供更准确的环境感知，进而提升系统的智能化水平和安全性。未来，该方法还可能扩展到其他视觉任务，如图像检索和场景重建等。

📄 摘要（原文）

This report presents our solution for the ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge, which requires parsing unstructured outdoor scenes from four camera platforms into 56 fine-grained categories. Our approach pairs foundation vision encoders (including DINOv3, SigLIP2, and InternImage) with a Mask2Former decoder, and trains them with a strong recipe including long training schedules, exponential moving average, a larger crop size, and multi-scale plus flip test-time augmentation. The three encoders, chosen for their complementary pretraining objectives, are combined into a pretraining-diverse ensemble through per-class validation-IoU weighting. Evaluated on the official GOOSE test set, our submission achieves 75.40% composite mIoU and wins the second place of the challenge. Our study further shows that the encoder's pretraining recipe, rather than its parameter count or the decoder design, is the dominant factor for accuracy on this benchmark.