GeoSeg-OV: Bridging Geospatial Gaps with Structural Guidance for Open-Vocabulary Remote Sensing Segmentation

📄 arXiv: 2608.10426v1 📥 PDF

作者: Ruizhong Liu, Tingzhang Luo, Zaiyan Zhang, Jundong Chen, Hongruixuan Chen, Shaoguang Huang, Hongyan Zhang

分类: cs.CV

发布日期: 2026-08-11

备注: Code and benchmark: https://github.com/zzaiyan/GeoSeg-OV

💡 一句话要点

提出GeoSeg-OV以解决开放词汇遥感分割中的地理空间差异问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇 遥感分割 视觉-文本匹配 结构引导 跨数据集泛化 高分辨率图像 机器学习

📋 核心要点

  1. 现有的开放词汇遥感分割方法在地理空间域偏移下表现不佳，导致视觉-文本匹配不一致，限制了跨数据集的泛化能力。
  2. 本文提出GeoSeg-OV，通过将辅助VFM特征解耦并作为结构引导，构建方向稳健的成本体积，优化语义和结构信息的融合。
  3. 在全球高分辨率土地覆盖基准上，GeoSeg-OV在两种训练设置下分别提升了2.5和2.7的平均mIoU，展示了其优越的性能。

📝 摘要（中文）

开放词汇遥感分割作为一种新兴的像素级识别方法，能够识别自然语言指定的任意类别，包括训练时未见过的类别。然而，由于异质区域、空间分辨率和获取平台造成的地理空间域偏移，视觉-文本匹配受到削弱，限制了跨数据集的泛化能力。为此，本文提出GeoSeg-OV，通过将辅助视觉基础模型（VFM）特征与视觉-文本匹配解耦，利用其作为结构引导进行成本聚合和解码。GeoSeg-OV构建了一个方向稳健的成本体积，并引入结构引导聚合（SGA）和成本感知解码（CAD）来优化语义和结构引导的融合。实验结果表明，GeoSeg-OV在全球高分辨率土地覆盖基准上超越了现有最优方法，展示了其在不同地理领域和类别系统中的泛化能力。

🔬 方法详解

问题定义：本文旨在解决开放词汇遥感分割中的地理空间域偏移问题，现有方法在不同区域和平台下的视觉-文本匹配效果不佳，限制了模型的泛化能力。

核心思路：GeoSeg-OV通过将辅助视觉基础模型（VFM）特征与视觉-文本匹配解耦，利用VFM提取的结构信息作为引导，增强了成本聚合和解码过程的有效性。

技术框架：GeoSeg-OV的整体架构包括方向稳健的成本体积构建、结构引导聚合（SGA）和成本感知解码（CAD）模块，分别负责不同层次的特征融合和信息传播。

关键创新：最重要的创新在于将VFM特征作为结构引导而非直接参与视觉-文本匹配，从而避免了不一致的匹配信号，并充分利用了结构敏感特征。

关键设计：在SGA中，结合了成本令牌、CLIP语义引导与VFM导出的成对结构偏差，以实现一致的空间传播；CAD模块则根据当前解码器上下文自适应地优化多尺度语义和结构引导的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoSeg-OV在全球高分辨率土地覆盖基准上取得了显著的性能提升，分别在两种训练设置下提升了2.5和2.7的平均mIoU，超越了现有的最优方法，展示了其在不同地理领域的强大泛化能力。

🎯 应用场景

该研究在遥感图像分析、环境监测和城市规划等领域具有广泛的应用潜力。通过提高开放词汇遥感分割的准确性和泛化能力，GeoSeg-OV能够支持更复杂的地理信息系统（GIS）应用，促进智能城市和可持续发展目标的实现。

📄 摘要（原文）

Open-vocabulary remote sensing segmentation has recently emerged as a promising paradigm that enables pixel-level recognition of arbitrary categories specified by natural language, including classes unseen during training. However, geospatial domain shifts caused by heterogeneous regions, spatial resolutions, and acquisition platforms weaken visual-text matching and limit cross-dataset generalization. Recent attempts have begun to incorporate auxiliary vision foundation models (VFMs), typically coupling their features with text embeddings as additional matching evidence. However, this strategy may introduce inconsistent matching signals while leaving the structure-sensitive representations of VFMs insufficiently exploited. We therefore propose GeoSeg-OV, which decouples auxiliary VFM features from visual-text matching and repurposes them as structural guidance for cost aggregation and decoding. GeoSeg-OV constructs an orientation-robust cost volume from multi-rotation CLIP features, while a frozen VFM extracts multi-scale structure-sensitive features in parallel. We propose Structure-Guided Aggregation (SGA), which integrates cost tokens and CLIP semantic guidance with VFM-derived pairwise structural biases for coherent spatial propagation, followed by text-conditioned class-wise reasoning. We further introduce Cost-Aware Decoding (CAD) to adaptively refine and fuse multi-scale semantic and structural guidance based on the current decoder context. On the global High-Resolution Land Cover (HRLC) benchmark spanning seven datasets across six continents, GeoSeg-OV outperforms the state-of-the-art by +2.5 and +2.7 average mIoU under two training settings. A large-scale zero-shot case study further demonstrates its generalization across geographic domains and category systems without target-domain annotations or retraining.