ChatEarthNet: A Global-Scale Image-Text Dataset Empowering Vision-Language Geo-Foundation Models

📄 arXiv: 2402.11325v2 📥 PDF

作者: Zhenghang Yuan, Zhitong Xiong, Lichao Mou, Xiao Xiang Zhu

分类: cs.CV

发布日期: 2024-02-17 (更新: 2024-02-26)

💡 一句话要点

提出ChatEarthNet以解决遥感图像理解难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感技术 图像-文本数据集 自然语言处理 视觉-语言模型 地球观测 深度学习

📋 核心要点

  1. 现有遥感图像的复杂性使得普通用户难以理解，缺乏有效的图像-文本数据集来桥接这一鸿沟。
  2. 本文提出ChatEarthNet数据集，通过对Sentinel-2数据进行语义分割和自然语言描述，提升普通用户对卫星图像的理解。
  3. 数据集经过手动验证和修正，最终提供了163,488对高质量的图像-文本对，显著提高了数据集的准确性和实用性。

📝 摘要（中文）

深入理解全球土地覆盖对于地球观测至关重要，支撑多种应用。尽管遥感技术迅速发展，卫星图像数量激增，但其复杂性使非专业用户难以理解。为此，本文引入了一个全球范围内的高质量图像-文本数据集ChatEarthNet，提供Sentinel-2数据的自然语言描述，帮助普通用户理解卫星图像。该数据集包含163,488对由ChatGPT-3.5生成的图像-文本对，以及10,000对由ChatGPT-4V(ision)生成的图像-文本对，具有全球覆盖、高质量和多样性，具有训练和评估视觉-语言模型的潜力。

🔬 方法详解

问题定义：本文旨在解决普通用户对复杂遥感图像理解的难题，现有方法缺乏有效的图像-文本配对，导致信息获取困难。

核心思路：通过构建ChatEarthNet数据集，利用Sentinel-2数据和语义分割标签，生成自然语言描述，帮助用户更好地理解卫星图像。

技术框架：数据集构建流程包括数据收集、语义分割标签应用、ChatGPT生成描述、手动验证和修正，最终形成高质量的图像-文本对。

关键创新：引入手动验证过程以提高数据集的准确性和质量，这是与现有方法的本质区别，确保了数据集的可靠性。

关键设计：采用ChatGPT-3.5和ChatGPT-4V(ision)生成描述，结合语义分割标签，确保描述的丰富性和准确性，数据集包含163,488对图像-文本对。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatEarthNet数据集的图像-文本对在准确性和描述丰富性上显著优于现有数据集，提供了163,488对高质量样本，支持多种视觉-语言模型的训练与评估，具有重要的实用价值。

🎯 应用场景

ChatEarthNet数据集可广泛应用于遥感领域的视觉-语言模型训练与评估，帮助研究人员和开发者更好地理解和利用卫星图像，推动地球观测技术的发展。未来，该数据集可能在环境监测、城市规划和农业管理等领域发挥重要作用。

📄 摘要（原文）

An in-depth comprehension of global land cover is essential in Earth observation, forming the foundation for a multitude of applications. Although remote sensing technology has advanced rapidly, leading to a proliferation of satellite imagery, the inherent complexity of these images often makes them difficult for non-expert users to understand. Natural language, as a carrier of human knowledge, can be a bridge between common users and complicated satellite imagery. In this context, we introduce a global-scale, high-quality image-text dataset for remote sensing, providing natural language descriptions for Sentinel-2 data to facilitate the understanding of satellite imagery for common users. Specifically, we utilize Sentinel-2 data for its global coverage as the foundational image source, employing semantic segmentation labels from the European Space Agency's (ESA) WorldCover project to enrich the descriptions of land covers. By conducting in-depth semantic analysis, we formulate detailed prompts to elicit rich descriptions from ChatGPT. To enhance the dataset's quality, we introduce the manual verification process. This step involves manual inspection and correction to refine the dataset, thus significantly improving its accuracy and quality. Finally, we offer the community ChatEarthNet, a large-scale image-text dataset characterized by global coverage, high quality, wide-ranging diversity, and detailed descriptions. ChatEarthNet consists of 163,488 image-text pairs with captions generated by ChatGPT-3.5 and an additional 10,000 image-text pairs with captions generated by ChatGPT-4V(ision). This dataset has significant potential for training vision-language geo-foundation models and evaluating large vision-language models for remote sensing. The dataset will be made publicly available.