SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

📄 arXiv: 2606.20523v1 📥 PDF

作者: Solène Debuysère, Nicolas Trouvé, Nathan Letheule, Elise Colin, Georgia Channing

分类: cs.CV, cs.AI, cs.DB

发布日期: 2026-06-18

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出SARLO-80数据集以解决SAR与光学图像融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成孔径雷达 光学图像 多模态学习 数据集构建 遥感技术 自然语言描述 图像对齐 深度学习

📋 核心要点

  1. 现有SAR-光学数据集多依赖低分辨率强度图像，缺乏高分辨率和复杂值数据，限制了多模态学习的有效性。
  2. 本文提出了一个高分辨率SAR-光学-文本数据集，通过标准化SAR数据和高精度光学图像对齐，解决了数据稀缺的问题。
  3. 数据集包含119,566个三元组，提供固定的训练/验证/测试划分，促进了跨模态对齐和生成任务的可重复性基准测试。

📝 摘要（中文）

多模态基础模型的快速发展得益于大型光学基准数据集，但合成孔径雷达（SAR）相关资源仍然有限。现有的SAR-光学数据集主要依赖低分辨率的强度图像，未能保留复杂值SAR测量或原始采集几何，限制了基于物理的多模态学习。本文提出了一个由开放获取的Umbra聚焦采集数据构建的高分辨率SAR-光学-文本数据集，涵盖257个地点和72个国家，包含119,566个三元组，支持跨模态检索和条件生成的基准测试。

🔬 方法详解

问题定义：本文旨在解决现有SAR-光学数据集在分辨率和数据类型上的不足，特别是缺乏高分辨率和复杂值SAR数据的问题。

核心思路：通过从开放获取的Umbra聚焦采集数据中构建高分辨率SAR-光学-文本数据集，标准化SAR数据并与高分辨率光学图像对齐，支持多模态学习。

技术框架：整体流程包括数据采集、SAR数据标准化、光学图像对齐和文本描述生成，确保数据的高质量和一致性。

关键创新：数据集中包含复杂值SAR测量和高分辨率光学图像的对齐，填补了现有数据集的空白，推动了多模态学习的进展。

关键设计：采用带限FFT重采样将SAR数据标准化到80cm斜距网格，并生成三种变体的文本描述，以支持不同的训练和评估需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SARLO-80数据集包含119,566个三元组，覆盖广泛的地理区域和地形类型，显著提升了跨模态检索和条件生成任务的性能，为未来的多模态研究提供了坚实的基础。

🎯 应用场景

该研究的潜在应用领域包括遥感监测、环境变化检测和城市规划等。通过提供高质量的多模态数据集，研究者可以更好地训练和评估多模态模型，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Multimodal foundation models have advanced rapidly thanks to large optical benchmarks, but comparable resources for synthetic aperture radar (SAR) remain limited. Existing SAR--optical datasets largely rely on low-resolution, intensity-only Ground Range Detected~(GRD) products and do not preserve complex-valued SAR measurements or native acquisition geometry, which restricts physically grounded multimodal learning. In particular, large-scale public datasets combining very-high-resolution (VHR) SAR SLC, aligned optical imagery, and natural-language descriptions are still lacking. We present a VHR SAR--optical--text dataset built from open-access Umbra spotlight acquisitions distributed as Sensor Independent Complex Data (SICD). From around 2,500 worldwide scenes (VV/HH, 20cm--2m native resolution), we standardize all SAR data to an 80cm slant-range grid via band-limited FFT resampling and tile the imagery into 1024 by 1024 patches. For each SAR patch, we retrieve a high-resolution optical tile and warp it into the SAR grid using local coordinate correspondences for local pixel-level alignment. We further generate three caption variants (SHORT/MID/LONG) per sample to support vision--language training and evaluation. Our dataset contains 119,566 triplets (complex and amplitude slant-range SAR patch, aligned optical patch, natural-language description) covering 257 locations across 72 countries and a broad range of land types and infrastructures. We release fixed train/validation/test splits and the full preprocessing and baseline code to enable reproducible benchmarks for multimodal alignment on cross-modal retrieval and conditional generation in native SAR geometry. The dataset is publicly available on the Hugging Face Hub at https://huggingface.co/datasets/ONERA/SARLO-80.