GeoCore-9B: Towards Geo-Aware Generative Foundation Models in Earth Observation
作者: Jeonghyeok Do, Munchurl Kim
分类: cs.CV
发布日期: 2026-08-03
备注: Please visit our project page at https://kaist-viclab.github.io/GeoCore-9B_site/
💡 一句话要点
提出GeoCore-9B以解决地球观测生成模型的局限性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地球观测 生成模型 扩散变换器 地理空间元数据 云去除 跨模态翻译 深度学习 模型训练
📋 核心要点
- 现有的地球观测生成模型依赖于自然图像的微调，导致可扩展性差和视角偏差问题。
- GeoCore-9B是一个90亿参数的生成基础模型，专门针对地球观测数据进行从零训练，并结合文本和地理空间元数据。
- GeoCore-9B在视觉保真度和地理结构准确性方面实现了新的最先进性能，适用于云去除和跨模态翻译等复杂任务。
📝 摘要（中文）
现有的地球观测生成模型主要依赖于自然图像的微调，这限制了其可扩展性并引入了与地理空间约束相悖的视角偏差。为此，本文提出了GeoCore-9B，这是第一个完全基于地球观测数据从零开始训练的90亿参数生成基础模型。GeoCore-9B基于流匹配的扩散变换器（DiT），并原生地将生成过程与文本描述和连续的地理空间元数据（如地面样本距离、纬度和经度）相结合。为了解决大规模训练中的收敛和空间失调问题，本文提出了一种地理空间语义对齐损失，利用冻结的专家教师网络提取地球表面的结构先验，约束扩散潜在轨迹而不增加推理开销。GeoCore-9B在全球范围的Git-10M数据集上进行预训练，展现出强大的下游适应性，能够有效应用于云去除和SAR到光学跨模态翻译等实际任务。
🔬 方法详解
问题定义：现有的地球观测生成模型在可扩展性和地理空间一致性方面存在显著不足，主要依赖于自然图像的微调，导致视角偏差和训练效率低下。
核心思路：GeoCore-9B通过从零开始训练一个90亿参数的生成模型，专注于地球观测数据，利用流匹配的扩散变换器（DiT）架构，结合文本描述和地理空间元数据，旨在提高生成图像的质量和一致性。
技术框架：GeoCore-9B的整体架构包括数据预处理、模型训练和生成阶段。模型训练中引入了地理空间语义对齐损失，以确保生成图像在地理结构上的准确性。
关键创新：GeoCore-9B的主要创新在于其规模和训练方法，首次在地球观测领域实现了从零开始的训练，且通过流匹配的扩散变换器有效解决了大规模训练中的收敛和空间失调问题。
关键设计：在损失函数设计上，采用了地理空间语义对齐损失，利用冻结的专家教师网络提取地球表面的结构先验，确保生成过程中的空间一致性，同时避免了推理时的额外开销。模型的参数设置和网络结构经过精心设计，以适应大规模数据的训练需求。
🖼️ 关键图片
📊 实验亮点
GeoCore-9B在视觉保真度和地理结构准确性方面达到了新的最先进性能，特别是在云去除和SAR到光学跨模态翻译任务中，相较于现有基线模型，性能显著提升，验证了其在实际应用中的有效性。
🎯 应用场景
GeoCore-9B在地球观测领域的潜在应用广泛，包括环境监测、城市规划和灾害响应等。其强大的生成能力和地理空间一致性使其能够有效处理云去除和跨模态翻译等复杂任务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Existing generative models for earth observation (EO) predominantly rely on fine-tuning natural image priors, which limits their scalability and introduces perspective biases that conflict with geospatial constraints. To address this, we introduce GeoCore-9B, a 9-billion-parameter generative foundation model, which is the first of its scale to be trained from scratch exclusively on EO data. Unlike previous EO foundation models, GeoCore-9B is built upon a Flow Matching-based Diffusion Transformer (DiT) and natively conditions generation on text descriptions and continuous geospatial metadata, including ground sample distances, latitudes, and longitudes. To overcome the convergence and spatial disorientation challenges of training at this scale, we propose a Geospatial Semantic Alignment loss. This objective distills structural Earth surface priors (e.g., terrain and urban areas) from a frozen specialist teacher network, constraining the diffusion latent trajectory during training without adding inference overhead. Pre-trained on the global-scale Git-10M dataset, GeoCore-9B demonstrates strong downstream versatility. Beyond standard proxy generative tasks, we show that GeoCore-9B can be effectively adapted for practical EO applications, including highly challenging tasks such as cloud removal and SAR-to-optical cross-modal translation. Extensive evaluations confirm that GeoCore-9B establishes new state-of-the-art performance in both visual fidelity and geographic structural accuracy.