YieldSAT: A Multimodal Benchmark Dataset for High-Resolution Crop Yield Prediction

📄 arXiv: 2604.00940v1 📥 PDF

作者: Miro Miranda, Deepak Pathak, Patrick Helber, Benjamin Bischke, Hiba Najjar, Francisco Mena, Cristhian Sanchez, Akshay Pai, Diego Arenas, Matias Valdenegro-Toro, Marcela Charfuelan, Marlon Nuske, Andreas Dengel

分类: cs.CV

发布日期: 2026-04-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

YieldSAT：一个用于高分辨率作物产量预测的多模态基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 作物产量预测 多模态数据集 卫星遥感 深度学习 领域自适应

📋 核心要点

  1. 现有作物产量预测数据集面临获取成本高、数据质量参差不齐以及隐私限制等问题，阻碍了可扩展模型的训练。
  2. YieldSAT通过提供大规模、高质量、多模态的数据集，包括卫星图像、环境数据和专家标注的田地信息，解决了数据稀缺问题。
  3. 论文验证了YieldSAT数据集在像素回归任务中的潜力，并提出领域感知的深度集成方法，有效缓解了真实场景下的数据分布偏移问题。

📝 摘要（中文）

作物产量预测需要大量数据来训练可扩展的模型。然而，创建产量预测数据集受到高昂的获取成本、异构的数据质量和数据隐私法规的限制。因此，现有的数据集稀缺、质量低，或者仅限于区域级别或单一作物类型，阻碍了可扩展的数据驱动解决方案的开发。本文发布了YieldSAT，这是一个大型、高质量且多模态的数据集，用于高分辨率作物产量预测。YieldSAT跨越阿根廷、巴西、乌拉圭和德国等多个国家的不同气候带，包括玉米、油菜籽、大豆和小麦等主要作物类型，涵盖2173个专家策划的田地。总共有超过1220万个产量样本可用，每个样本的空间分辨率为10米。每个田地都配有多光谱卫星图像，总共包含113555张带标签的卫星图像，并辅以辅助环境数据。我们通过比较各种深度学习模型和数据融合架构，展示了大规模和高分辨率作物产量预测作为像素回归任务的潜力。此外，我们强调了在真实条件下，地面实况数据中严重分布偏移所带来的公开挑战。为了缓解这个问题，我们探索了一种领域感知的深度集成方法，该方法表现出显著的性能提升。该数据集可在https://yieldsat.github.io/上获取。

🔬 方法详解

问题定义：论文旨在解决高分辨率作物产量预测中数据稀缺和质量不高的问题。现有数据集通常规模小、质量低，且受限于特定区域或作物类型，无法支持可扩展的深度学习模型训练。此外，真实场景下的数据分布偏移也是一个挑战。

核心思路：论文的核心思路是构建一个大规模、高质量、多模态的作物产量预测数据集YieldSAT，该数据集包含多光谱卫星图像、环境数据和专家标注的田地信息。通过提供丰富的数据，可以训练更准确、更鲁棒的作物产量预测模型。同时，论文还探索了领域感知的深度集成方法来缓解数据分布偏移问题。

技术框架：YieldSAT数据集包含以下几个主要组成部分：1) 多光谱卫星图像：提供高分辨率的作物生长信息。2) 环境数据：包括气候、土壤等影响作物生长的环境因素。3) 专家标注的田地信息：包含作物类型、产量等地面实况数据。论文使用这些数据进行像素回归任务，预测每个像素的作物产量。为了缓解数据分布偏移，论文提出了一种领域感知的深度集成方法，该方法通过训练多个模型，并根据领域知识进行集成，从而提高预测的准确性和鲁棒性。

关键创新：论文的关键创新在于构建了一个大规模、高质量、多模态的作物产量预测数据集YieldSAT。与现有数据集相比，YieldSAT具有更大的规模、更高的分辨率和更丰富的信息，可以支持更复杂的深度学习模型训练。此外，论文提出的领域感知的深度集成方法也是一个创新点，该方法可以有效缓解数据分布偏移问题，提高预测的准确性。

关键设计：论文使用了Sentinel-2卫星图像，空间分辨率为10米。数据集涵盖了阿根廷、巴西、乌拉圭和德国等多个国家的不同气候带，包括玉米、油菜籽、大豆和小麦等主要作物类型。论文比较了多种深度学习模型和数据融合架构，包括CNN、Transformer等。领域感知的深度集成方法通过训练多个模型，并根据领域知识（例如，不同区域或作物类型）对模型进行加权集成。具体的损失函数和网络结构细节未在摘要中详细说明，需要查阅原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了YieldSAT数据集的有效性。实验结果表明，使用YieldSAT数据集训练的深度学习模型可以实现较高的作物产量预测精度。此外，领域感知的深度集成方法可以显著提高预测的准确性和鲁棒性，尤其是在数据分布偏移严重的情况下。具体的性能数据和提升幅度需要在原文中查找。

🎯 应用场景

该研究成果可应用于精准农业、农业保险、粮食安全监测等领域。通过高分辨率的作物产量预测，可以帮助农民优化种植管理，提高产量和效益。农业保险公司可以利用产量预测数据进行风险评估和理赔。政府部门可以利用产量预测数据进行粮食安全监测和政策制定。该研究有助于提高农业生产效率，保障粮食安全。

📄 摘要（原文）

Crop yield prediction requires substantial data to train scalable models. However, creating yield prediction datasets is constrained by high acquisition costs, heterogeneous data quality, and data privacy regulations. Consequently, existing datasets are scarce, low in quality, or limited to regional levels or single crop types, hindering the development of scalable data-driven solutions. In this work, we release YieldSAT, a large, high-quality, and multimodal dataset for high-resolution crop yield prediction. YieldSAT spans various climate zones across multiple countries, including Argentina, Brazil, Uruguay, and Germany, and includes major crop types, including corn, rapeseed, soybeans, and wheat, across 2,173 expert-curated fields. In total, over 12.2 million yield samples are available, each with a spatial resolution of 10 m. Each field is paired with multispectral satellite imagery, resulting in 113,555 labeled satellite images, complemented by auxiliary environmental data. We demonstrate the potential of large-scale and high-resolution crop yield prediction as a pixel regression task by comparing various deep learning models and data fusion architectures. Furthermore, we highlight open challenges arising from severe distribution shifts in the ground truth data under real-world conditions. To mitigate this, we explore a domain-informed Deep Ensemble approach that exhibits significant performance gains. The dataset is available at https://yieldsat.github.io/.