Temporal Sensitivity Analysis of Tessera Embeddings

📄 arXiv: 2608.27175v1 📥 PDF

作者: Julia Guerrero-Viu, Alex López-Cifuentes, Ignacio Pérez-Villar, Fabio Pacifici

分类: cs.CV

发布日期: 2026-08-27

备注: 15 pages

💡 一句话要点

提出时间敏感性分析以优化土地覆盖映射

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地球观测 土地利用 时间敏感性 嵌入模型 深度学习 图像分割 实时映射

📋 核心要点

  1. 现有的地球观测模型通常需要整年的数据来生成嵌入，导致更新频率低，无法满足快速变化的土地利用需求。
  2. 本文通过分析Tessera模型在不同时间窗口下的嵌入表现，探讨了时间覆盖的可调性，提出了在保持编码器不变的情况下重新计算嵌入的方法。
  3. 实验结果显示，在某些类别上，短时间窗口的嵌入仍能保持较高的准确性，且在不同数据集上表现出不同的标签效率和准确性下降幅度。

📝 摘要（中文）

许多地球观测应用需要既精确又频繁更新的土地利用/覆盖图，但现有的地球观测基础模型通常基于整年的观测数据构建嵌入。本文对Tessera模型的时间敏感性进行了控制研究，通过在不同观测窗口下重新计算嵌入，评估其在土地利用/覆盖映射中的表现。结果表明，嵌入的价值依赖于任务特性，短时间窗口的准确性逐渐下降，且不同类别的影响程度不同。这项研究为近实时映射和更快的土地利用/覆盖更新周期提供了新的可能性。

🔬 方法详解

问题定义：本文旨在解决现有地球观测模型在土地利用/覆盖映射中对时间数据的依赖问题，现有模型通常需要整年的数据，导致更新不够及时。

核心思路：通过固定编码器，研究不同观测窗口（从一年到一天）对Tessera嵌入的影响，探索时间覆盖的可调性，以实现更灵活的土地映射。

技术框架：研究流程包括固定编码器，计算不同时间窗口的嵌入，使用线性探针和UNet分割头进行评估，并与从头训练的网络进行基准测试。

关键创新：本研究的创新在于揭示了时间窗口的灵活性，表明短时间窗口的嵌入在某些任务中仍然有效，挑战了传统模型对长时间数据的依赖。

关键设计：在实验中，使用了LUCAS、DynamicEarthNet和PASTIS-R数据集，评估了不同时间窗口下的嵌入表现，特别关注了不同类别的准确性变化和标签效率。实验结果显示，缩短时间窗口对准确性的影响是逐渐的且类别依赖性强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在PASTIS-R数据集中，Tessera嵌入的平均交并比达到58.3%，比最佳从头模型高出46%。在DynamicEarthNet和LUCAS数据集中，嵌入模型在全监督下与从头模型表现相当，显示出更高的标签效率。短时间窗口的准确性下降幅度因类别而异，提供了灵活的时间覆盖策略。

🎯 应用场景

该研究的潜在应用领域包括农业监测、城市规划和环境保护等。通过优化土地利用/覆盖映射的时间敏感性，能够实现更快速的更新周期，支持实时决策和响应，提升地球观测技术的实际价值。

📄 摘要（原文）

Many Earth Observation applications need land-use/land-cover maps that are both precise and frequently updated, yet the strongest Earth Observation foundation models build their embeddings from a full year of observations. We present a controlled study of the temporal sensitivity of Tessera, one of these leading foundation models, for land-use/land-cover mapping. Keeping the encoder frozen, we recompute its embeddings over varying observation windows, from a full year down to a single day. We use them as inputs to a linear probe and a UNet segmentation head, benchmarking both of them against from-scratch networks on LUCAS, DynamicEarthNet, and PASTIS-R datasets. We show that the value of the embeddings is task-dependent. Where classes are separated by phenology, as for the crop types of PASTIS-R, they reach a mean Intersection-over-Union of $58.3$, about $46\%$ above the best from-scratch model. Where classes are temporally stable (e.g., forests in DynamicEarthNet and LUCAS), embedding-based and from-scratch models match only under full supervision. On both datasets, Tessera embeddings remain markedly more label-efficient. Degradation under shorter temporal windows is gradual and class-dependent. Contracting the window from one year to one month costs $39\%$ of the segmentation accuracy on PASTIS-R but only $5\%$ on DynamicEarthNet. Single-day embeddings still classify land cover in LUCAS at $3.4$ times the chance level. Our study shows that temporal coverage is therefore a tunable cost rather than a fixed prerequisite, opening regimes such as near-real-time mapping and faster land-use/land-cover refresh cycles.