Training-Free Open-Vocabulary Visual Grounding for Remote Sensing Images and Videos

📄 arXiv: 2606.16124v1 📥 PDF

作者: Ke Li, Di Wang, Yongshan Zhu, Ting Wang, Weiping Ni, Tao Lei, Quan Wang, Xinbo Gao

分类: cs.CV

发布日期: 2026-06-15

💡 一句话要点

提出RSVG-ZeroOV以解决遥感图像和视频的开放词汇视觉定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感视觉定位 开放词汇 无训练框架 视觉-语言模型 扩散模型 多模态融合 图像与视频分析

📋 核心要点

  1. 现有的遥感视觉定位方法依赖于人工标注，难以适应开放词汇查询，导致泛化能力不足。
  2. RSVG-ZeroOV提出了一种无训练的框架，利用冻结的基础模型，通过概览-聚焦-演变的方式生成精准的定位结果。
  3. 在六个图像和视频基准测试中，RSVG-ZeroOV表现优于现有零-shot方法，并与弱监督和全监督方法相比具有竞争力。

📝 摘要（中文）

遥感视觉定位（RSVG）旨在根据自然语言表达在遥感图像或视频中定位目标。现有方法通常依赖于特定任务的人工标注，收集成本高且难以覆盖真实世界的多样性，导致在处理新对象、细粒度属性、复杂空间关系和功能语义的开放词汇查询时表现不佳。本文提出了RSVG-ZeroOV，一个无训练框架，利用冻结的通用基础模型进行零-shot开放词汇RSVG。该方法遵循概览-聚焦-演变的范式，利用视觉-语言模型和扩散模型的互补注意力模式，逐步生成精确的定位结果。实验表明，RSVG-ZeroOV在六个基准测试中表现优异，超越现有的零-shot基线，并与弱监督和全监督方法相比具有竞争力或更优的性能。

🔬 方法详解

问题定义：本文解决遥感视觉定位中的开放词汇问题，现有方法依赖人工标注，难以适应多样化的查询需求，导致泛化能力不足。

核心思路：RSVG-ZeroOV框架不依赖训练，利用冻结的视觉-语言模型和扩散模型，通过概览、聚焦和演变的步骤逐步生成精准的定位结果。

技术框架：整体架构包括三个主要模块：概览模块提取交叉注意力图，聚焦模块利用扩散模型补偿对象结构信息，演变模块抑制无关激活，生成纯净的对象掩码。

关键创新：最重要的创新在于提出了无训练的开放词汇视觉定位框架，结合了视觉-语言模型和扩散模型的互补特性，显著提升了定位精度。

关键设计：在设计中，使用了冻结的基础模型，结合了交叉注意力图和扩散模型的细粒度建模，确保了对对象结构和形状信息的有效捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RSVG-ZeroOV在六个基准测试中表现出色，超越了现有的零-shot基线，具体性能提升幅度达到XX%（具体数据待补充），并在弱监督和全监督方法中表现出竞争力或更优的结果，展示了其有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感图像分析、环境监测、城市规划等领域。通过无训练的开放词汇视觉定位，能够更高效地处理多样化的查询需求，提升遥感数据的利用价值。未来，该方法有望推动智能监控和自动化决策系统的发展。

📄 摘要（原文）

Remote sensing visual grounding (RSVG) aims to localize a referred target in a remote sensing image or video according to a natural language expression. Existing RSVG methods usually rely on task-specific manual annotations, which are costly to collect and inevitably limited in covering the diversity of real-world geospatial scenarios. As a result, they often struggle to generalize to open-vocabulary queries involving novel objects, fine-grained attributes, complex spatial relationships, and functional semantics. In this paper, we propose RSVG-ZeroOV, a training-free framework that leverages frozen generic foundation models for zero-shot open-vocabulary RSVG. RSVG-ZeroOV follows an Overview-Focus-Evolve paradigm, which exploits the distinct yet complementary attention patterns of vision-language models (VLMs) and diffusion models (DMs) to progressively generate precise grounding results. Specifically, (i) Overview utilizes a VLM to extract cross-attention maps that capture semantic correlations between the referring expression and visual regions; (ii) Focus leverages the fine-grained modeling priors of a DM to compensate for object structure and shape information often overlooked by VLM attention; and (iii) Evolve introduces a simple yet effective attention evolution module to suppress irrelevant activations, yielding purified object masks. To handle video inputs, we further present Video RSVG-ZeroOV, which extends image-level grounding to spatio-temporal grounding through a query-relevant key-frame selector and a temporal propagator, enabling efficient and temporally coherent video grounding without video annotations or fine-tuning. Extensive experiments on six image and video grounding benchmarks show that RSVG-ZeroOV consistently outperforms existing zero-shot baselines and achieves competitive or superior performance compared with weakly- and fully-supervised methods.