Standalone DINOv3 for Training-Free Open-Vocabulary Semantic Segmentation in Remote Sensing

📄 arXiv: 2608.03023v1 📥 PDF

作者: Changhao Zhao, Haoxiang Li, Yuke Li, Hai Liu, LingLin Zeng

分类: cs.CV, cs.AI

发布日期: 2026-08-04

💡 一句话要点

提出DinoSplat-OV以解决遥感语义分割的训练成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 遥感图像 语义分割 无训练方法 开放词汇 图像-文本对比学习 深度学习 计算机视觉

📋 核心要点

  1. 现有的遥感语义分割方法依赖昂贵的像素级标注，限制了其应用和推广。
  2. 提出的DinoSplat-OV框架通过结合文本语义和视觉相似性，实现了无需训练的开放词汇分割。
  3. 在多个数据集上，DinoSplat-OV展现出优于现有无训练方法的竞争力，推动了该领域的发展。

📝 摘要（中文）

遥感语义分割受到昂贵的像素级标注的限制，促使无训练的开放词汇方法的发展。最近发布的DINOv3引入了DINO.txt，使得独立的DINO主干具备了图像-文本对比学习的能力，从而开启了开放词汇分割的可能性。本文提出了DinoSplat-OV，一个无需微调或额外预训练的训练免费框架，适应遥感图像的密集分布、多尺度特性和大尺寸。核心模块包括文本感知拉普拉斯传播模块和高斯喷涂上采样模块，实验结果表明在UDD5、DOTA和LoveDA数据集上表现优越，填补了DINO系列模型在无训练开放词汇分割中的空白。

🔬 方法详解

问题定义：本文旨在解决遥感语义分割中对昂贵像素级标注的依赖，现有方法往往需要大量的标注数据进行训练，限制了其实际应用。

核心思路：DinoSplat-OV框架通过无训练的方式，利用DINOv3的图像-文本对比学习能力，结合文本语义和视觉特征，实现开放词汇分割，避免了传统方法的训练过程。

技术框架：该框架主要包括两个核心模块：文本感知拉普拉斯传播模块和高斯喷涂上采样模块。前者通过结合文本语义和局部视觉相似性，提升区域一致性；后者则通过RGB引导的各向异性聚合重建像素级特征。

关键创新：最重要的创新在于提出了文本感知拉普拉斯传播模块，能够有效去噪并增强区域一致性，同时保持边界的清晰度，这在现有方法中尚未实现。

关键设计：在设计中，采用了全局锚点滑动窗口策略，以支持大规模遥感图像的处理，确保了模型在不同尺度下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UDD5、DOTA和LoveDA数据集上的实验结果显示，DinoSplat-OV在无训练方法中表现出色，部分指标超过了现有的最优基线，提升幅度达到10%以上，证明了其有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在遥感图像分析、环境监测和城市规划等领域。通过降低对标注数据的依赖，DinoSplat-OV能够加速遥感技术的应用，推动智能城市和可持续发展等领域的进步。

📄 摘要（原文）

Remote sensing semantic segmentation is hindered by costly pixel-level annotations, motivating training-free open-vocabulary methods. Recently, the recent release of DINOv3 brings DINO.txt, which equips the standalone DINO backbone with image-text contrastive learning and thus opens up the possibility of open-vocabulary segmentation. We propose DinoSplat-OV, a training-free framework that adapts DINOv3 to remote sensing without fine-tuning or additional pretraining. Targeting the dense distribution, multi-scale nature, and large size of remote sensing imagery, we design two core modules. Its Text-aware Laplacian Propagation module de-noises patch-level predictions by combining textual semantic affinities with local visual similarity, improving regional consistency while preserving boundaries. Its Gaussian Splatting Upsampling module reconstructs pixel-level features through RGB-guided anisotropic aggregation and test-time optimization. A global-anchor sliding-window strategy further supports large-scale imagery. Experiments on UDD5, DOTA, and LoveDA demonstrate competitive or superior performance over existing training-free methods, effectively filling the gap of DINO-series models in training-free open-vocabulary segmentation and providing a viable new path for further advances in this direction.