SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

📄 arXiv: 2606.20130v1 📥 PDF

作者: Xuesong Wang

分类: cs.CV

发布日期: 2026-06-18

备注: 4th place in ICRA 2026 GOOSE 2D Semantic Segmentation Challenge

💡 一句话要点

提出SAM3自蒸馏方法以解决细粒度GOOSE 2D语义分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度分割 自蒸馏 多尺度增强 语义分割 计算机视觉

📋 核心要点

  1. 现有的细粒度语义分割方法在处理复杂场景时表现不佳，尤其是在类别间相似性较高的情况下。
  2. 本研究提出了一种自蒸馏方案，利用SAM3作为教师模型，并结合图像级多尺度增强技术，提升模型性能。
  3. 实验结果表明，模型在测试集上达到了69.73%的mIoU，相较于基线有显著提升，尤其是在光度失真处理上。

📝 摘要（中文）

本文描述了我们在ICRA 2026 GOOSE 2D细粒度语义分割挑战赛中的第四名参赛作品，模型在官方1815张图像测试集上达到了69.73%的综合平均交并比（mIoU）。我们的模型采用了最新视觉基础模型Segment Anything Model 3（SAM3）的图像编码器，并配备了轻量级解码器。此外，我们贡献了两项技术和一个经验发现：(i) 自蒸馏方案，利用SAM3自身作为教师模型，针对其在某些类别上的表现优于我们模型的情况；(ii) 图像级多尺度测试时增强方案，通过重新缩放图像而非模型输入来恢复固定输入大小模型的多尺度推理；(iii) 发现2025年GOOSE 2D获胜作品中的激进光度失真移植到我们的流程中，是其单一最大改进来源。

🔬 方法详解

问题定义：本研究旨在解决细粒度GOOSE 2D语义分割中的性能瓶颈，现有方法在复杂场景下的表现不够理想，尤其是类别相似性高时的区分能力不足。

核心思路：我们提出了一种自蒸馏方案，利用SAM3自身作为教师模型，针对其在某些类别上的优越表现进行知识重用，同时引入图像级多尺度测试时增强技术，以提升模型的推理能力。

技术框架：整体架构包括图像编码器（SAM3）、轻量级解码器和自蒸馏模块。模型首先通过SAM3进行特征提取，然后利用解码器进行语义分割，最后通过自蒸馏模块进行知识传递和增强。

关键创新：最重要的技术创新在于自蒸馏方案的提出，使得模型能够在特定类别上利用自身的优势进行学习，显著提升了细粒度分割的准确性。

关键设计：在参数设置上，我们采用了适应性损失函数以平衡不同类别的学习，同时在网络结构上，解码器设计为轻量级以提高推理速度，确保在保持性能的同时降低计算开销。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，模型在官方测试集上达到了69.73%的mIoU，相较于基线模型有显著提升，尤其是通过自蒸馏和光度失真处理，提升幅度达到未知。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和医学图像分析等。通过提高细粒度语义分割的准确性，能够在复杂环境中实现更高效的物体识别和场景理解，具有重要的实际价值和未来影响。

📄 摘要（原文）

We describe our 4th-place entry to the ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge, which reached a composite mean Intersection-over-Union (mIoU) of 69.73% on the official 1,815-image test set. Our model adapts the image encoder of a recent visual foundation model, Segment Anything Model 3 (SAM3), with a lightweight decoder. Beyond this, we contribute two techniques and one empirical finding: (i) a self-distillation scheme that re-uses SAM3 itself, prompted with ground-truth boxes, as a teacher on the classes where it outperforms our own model; (ii) an image-level multi-scale test-time augmentation scheme that restores multi-scale inference for a fixed-input-size model by rescaling the image rather than the model input; and (iii) the finding that an aggressive photometric distortion from a winning 2025 GOOSE 2D entry, transplanted onto our pipeline, is its single largest source of improvement.