Multi-Year Geospatial Reasoning using Interannually-Consistent Historical Predictions as a Free Input Modality
作者: Syed Roshaan Ali Shah, Kasper Bonte, David Bekaert, Kristof Van Tricht, Dieter Wens
分类: cs.CV
发布日期: 2026-08-06
备注: 17 pages, 7 figures
💡 一句话要点
提出基于历史预测的多年度地理空间推理方法以提升作物分类精度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理空间推理 作物分类 深度学习 历史预测 基础植被层 多年度数据 遥感技术 机器学习
📋 核心要点
- 现有的地理空间推理方法未能有效利用历史预测和外部数据，导致分类精度不足。
- 论文提出了一种作物类型嵌入编码器，将历史预测作为时间序列的分类标记引入模型，增强跨年度推理能力。
- 在约540万标记像素的全欧洲数据集上，利用历史预测提高了作物类F1分数1.6个百分点，并改善了召回率偏差。
📝 摘要（中文）
机器学习，尤其是深度网络，越来越多地用于生成年度土地覆盖和作物类型地图。现有系统通常在每年处理新数据时，未能有效利用过去的预测和其他合作伙伴提供的辅助层。本文以Copernicus土地监测服务的高分辨率作物类型产品为测试平台，提出将历史预测和外部基础植被层（BVL）信息引入模型，从而将单年度像素分类器转变为跨年度推理模型。实验结果表明，利用历史预测可以显著提高作物分类的F1分数，并改善召回率偏差，尤其在多年生和树木作物上表现突出。
🔬 方法详解
问题定义：本文旨在解决现有地理空间推理模型在处理年度数据时未能有效利用历史预测和外部辅助信息的问题。这导致了分类精度的不足，尤其是在多年度作物分类任务中。
核心思路：论文的核心思路是将历史预测和外部基础植被层（BVL）信息引入模型，通过构建作物类型嵌入编码器，将过去的预测转化为时间序列的分类标记，从而实现跨年度的推理能力。这样的设计使得模型能够更好地利用已有的知识，提高分类的准确性。
技术框架：整体架构包括数据输入模块、作物类型嵌入编码器和分类器。数据输入模块负责接收历史预测和BVL信息，嵌入编码器将这些信息转化为模型可处理的格式，分类器则基于这些信息进行作物类型的预测。
关键创新：最重要的技术创新在于将历史预测和外部BVL信息整合进模型内部，而非作为后处理或固定输入。这一方法使得模型能够在多年度数据中进行推理，显著提升了分类性能。
关键设计：在模型设计中，采用了信心缩放的时间序列分类标记来表示历史预测，并在输入和输出中一致地表示BVL掩膜。此外，评估时仅关注18种作物类别，以确保结果的公平性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，利用历史预测信息后，作物类F1分数提高了1.6个百分点，尤其在多年生和树木作物上，召回率提升显著（橄榄 +4.6，水果 +3.7，坚果 +3.2个百分点）。同时，BVL掩膜的一致性表示也为作物分类增加了约2.5个百分点的提升。
🎯 应用场景
该研究的潜在应用领域包括农业监测、环境变化评估和土地利用规划等。通过提高作物分类的准确性，能够为政策制定者和农民提供更可靠的数据支持，促进可持续农业发展。未来，该方法还可扩展至其他地理空间数据处理任务，提升相关领域的研究和应用价值。
📄 摘要（原文）
Machine learning, and deep networks in particular, are increasingly used to derive higher-level Earth observation (EO) products such as annual land-cover and crop-type maps. Many are generated operationally: each year a new acquisition is processed, typically with the same model, extending a multi-year archive. In the process these systems accumulate two kinds of useful signal that are almost never fed back into the model: the system's own archive of past predictions, and ancillary layers produced by other partners in a processing consortium. Both are normally used outside the network, as rule-based post-processing or a fixed input mask. Using the Copernicus Land Monitoring Service High Resolution Layer (HRL) Croplands crop-type product as a testbed, we show that bringing both signals inside the model turns a single-year, single-task pixel classifier into one that reasons across years. We introduce a Crop Type (CTY) embedding encoder that represents each past prediction as a confidence-scaled, time-ordered categorical token and attends over the year axis, and we study how the externally provided Base Vegetation Layer (BVL) mask should be represented in the model's inputs and outputs. To compare designs fairly when they relabel non-crop pixels, we evaluate on the 18 crop classes only and report precision and recall separately. On a pan-European dataset of about 5.4M labelled pixels, adding the prediction history raises crop-only F1 by 1.6 percentage points (pp) and, more importantly, corrects a recall-skewed error profile, with the largest gains on perennial and tree crops (olives +4.6, fruits +3.7, nuts +3.2 pp). Representing the BVL mask consistently in both the history and the target year adds about 2.5 pp on the crop classes. The approach is a low-cost recipe for any recurring geospatial or foundation model that emits class maps.