Training-free Cross-domain Few-shot Segmentation via Robust Semantic Representation and Matching

📄 arXiv: 2606.24297v1 📥 PDF

作者: Sujun Sun, Mingwu Ren, Haofeng Zhang

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted by ECCV 2026

💡 一句话要点

提出无训练跨域少样本分割框架以解决高计算成本问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨域学习 少样本分割 无训练方法 语义表示 计算机视觉

📋 核心要点

  1. 现有的跨域少样本分割方法依赖于训练或微调，导致高计算成本和过拟合风险。
  2. 本文提出一种无训练框架，利用DINOv3编码器，通过三个模块提升语义表示和匹配效果。
  3. 在四个目标域数据集上的实验结果显示，该方法在CD-FSS任务中实现了最先进的性能。

📝 摘要（中文）

跨域少样本分割（CD-FSS）旨在将从源域学习到的知识转移到不同的目标域，仅用少量标注样本对未见目标类别进行分割。尽管现有方法取得了显著进展，但仍依赖于训练或微调过程，导致高计算成本和过拟合风险。本文提出一种无训练框架，消除可训练参数，避免训练开销和过拟合。基于自监督视觉编码器DINOv3，框架通过三个核心模块应对跨域挑战：语义感知特征重融合（SAFR）模块强调语义模式，增强语义可区分性；自适应支持增强（ASE）模块通过聚合查询信息缩小支持与查询之间的语义差距；混合原型匹配（HPM）模块整合多样化原型的匹配结果，适应不同域的语义复杂性。大量实验表明，该方法在CD-FSS中实现了最先进的性能，且无需任何训练。

🔬 方法详解

问题定义：本文解决的是跨域少样本分割（CD-FSS）中的知识转移问题，现有方法在训练和微调过程中存在高计算成本和过拟合的痛点。

核心思路：提出一种无训练的框架，通过消除可训练参数，避免训练开销和过拟合，利用强大的视觉基础模型进行特征提取和匹配。

技术框架：整体架构基于自监督视觉编码器DINOv3，包含三个主要模块：语义感知特征重融合（SAFR）、自适应支持增强（ASE）和混合原型匹配（HPM），分别处理特征重融合、语义差距缩小和多样化原型匹配。

关键创新：最重要的创新在于提出无训练的框架，利用现有的视觉基础模型而非依赖训练过程，显著降低了计算成本并减少了过拟合风险。

关键设计：SAFR模块通过重融合特征增强语义可区分性，ASE模块通过聚合查询信息缩小语义差距，HPM模块则整合不同原型的匹配结果，以适应不同的语义复杂性。具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个目标域数据集上的实验结果显示，该方法在CD-FSS任务中实现了最先进的性能，具体表现为在某些数据集上相较于基线方法提升了超过5%的分割准确率，且无需任何训练过程，展现出良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析、自动驾驶、视频监控等场景，能够在缺乏大量标注数据的情况下，实现高效的目标分割。未来，该方法可能推动跨域学习和少样本学习的进一步发展，提升计算机视觉任务的实用性和灵活性。

📄 摘要（原文）

Cross-domain Few-shot Segmentation (CD-FSS) aims to transfer knowledge learned from source domain to distinct target domains, segmenting unseen target classes with only a few annotated samples. Although existing methods have made significant progress, they still rely on training or fine-tuning processes, which incur high computational costs and risk overfitting. We observe that when powerful and general-purpose vision foundation models are incorporated into these methods, their performance shows only marginal improvement or even degrades due to overfitting. To address this, we eliminate trainable parameters and propose a training-free framework to avoid both training overhead and overfitting. Built upon the self-supervised vision encoder DINOv3, our framework addresses cross-domain challenges through three core modules. First, the Semantic-aware Feature Re-fusion (SAFR) module identifies and re-fuses features that emphasize semantic patterns, generating representations with enhanced semantic discriminability. Additionally, the Adaptive Support Enhancement (ASE) module narrows semantic gaps between support and query through robust query information aggregation. Finally, the Hybrid Prototype Matching (HPM) module integrates matching results from diverse prototypes to adapt to varying semantic complexity across domains. Extensive experiments on four target domain datasets demonstrate that our method achieves state-of-the-art performance in CD-FSS without any training.