Adapting Prithvi-EO for Fallow Detection for Food-Water Nexus: ViT-Adapter Necks and Parameter-Efficient Backbone tuning of Geospatial Foundation Model

📄 arXiv: 2606.12218v1 📥 PDF

作者: Sk Muhammad Asif, Orhun Aydin

分类: cs.CV, cs.AI

发布日期: 2026-06-10

备注: 10 pages, 6 figures. Preprint. Submitted to ACM SIGSPATIAL 2026

💡 一句话要点

提出ViT-Adapter以提高休耕地检测精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 休耕地检测 粮食-水资源 低秩适应 多尺度特征 ViT-Adapter 参数高效微调 计算机视觉

📋 核心要点

  1. 现有方法在休耕地检测中面临低精度和单一空间尺度特征的挑战，难以满足多尺度特征的需求。
  2. 论文提出了一种结合LoRA和混合PEFT的检测管道，使用Lite ViT-Adapter等颈部设计来提升模型性能。
  3. 实验结果显示，Lite ViT-Adapter在一阶段检测中提升了6.42%至25.70%的精度，证明了其在捕捉局部休耕模式方面的有效性。

📝 摘要（中文）

理解休耕地的空间分布对于优化粮食-水资源（FW）关系至关重要，尤其是休耕在作物轮作和水资源保护中的作用。现有的USDA耕地数据层（CDL）中，休耕地的检测精度较低。本文提出了一种结合低秩适应（LoRA）和混合参数高效微调（PEFT）方案的休耕地检测管道，采用了伪多尺度、Lite ViT-Adapter和Full ViT-Adapter三种颈部设计。实验结果表明，Lite ViT-Adapter在一阶段检测中达到了0.9479的mAP@50，表明其在不规则休耕地检测中的有效性。

🔬 方法详解

问题定义：本文旨在解决休耕地检测中的低精度问题，现有方法依赖于单一空间尺度特征，无法有效捕捉多尺度信息，且全骨干微调计算开销大。

核心思路：通过引入低秩适应（LoRA）和混合PEFT方案，结合不同的颈部设计，优化Prithvi-EO模型以适应多尺度特征的需求，从而提高休耕地的检测精度。

技术框架：整体架构包括数据预处理、特征提取、颈部设计和检测头。特征提取使用ViT骨干，颈部设计则采用Lite ViT-Adapter等，以实现多尺度特征融合。

关键创新：最重要的创新在于引入了Lite ViT-Adapter和低秩适应技术，使得模型在保持轻量化的同时，能够有效捕捉局部休耕模式，显著提升检测性能。

关键设计：在参数设置上，采用了Diou损失函数以增强中心感知定位能力，Lite ViT-Adapter的设计使得模型在一阶段检测中表现优异，且在LoRA下实现了适配器自由的检测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Lite ViT-Adapter在一阶段检测中达到了0.9479的mAP@50，相较于基线适配器自由锚点方法提升了6.42%，最佳配置则提升了25.70%，证明了新方法在检测精度上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括农业监测、土地管理和水资源优化。通过准确检测休耕地，能够为农业决策提供数据支持，促进可持续发展，未来可能对粮食安全和水资源管理产生积极影响。

📄 摘要（原文）

Understanding spatial distribution of fallow land is important for optimizing the food-water (FW) nexus, given fallowing's role in crop rotation and water conservation. Fallow is a low accuracy class in USDA Cropland Data Layer (CDL). Geospatial foundation model (GFM), Prithvi-EO has shown strong transferability across computer vision tasks. However, its Vision Transformer (ViT) backbone produces features at a single spatial scale that are ill-suited for the multi-scale features required by object detection heads. Existing approaches synthesise multi-scale pyramids through scaling of single stride tokens, sacrificing spatial heterogeneity, and full backbone fine-tuning is computationally prohibitive for GFMs. We evaluate a fallow detection pipeline combining two parameter-efficient fine tuning (PEFT) schemes: Low-Rank Adaptation (LoRA) and a hybrid PEFT, with three neck designs: pseudo multi-scale, Lite ViT-Adapter, and Full ViT-Adapter. Our best configuration, Lite ViT-Adapter with a one-stage head, achieves a mAP@50 of 0.9479 with the Diou loss, suggesting the effectiveness of center-aware localization for irregular fallow field detection. ViT-Adapter free one-stage detection under LoRA improves the adapter-free anchor-based approach by 6.42%, and the best configuration improves baseline adapter-free anchor-based approach by 25.70%. These results demonstrate that lightweight spatial prior fusion and selective backbone unfreezing enable Prithvi-EO to capture local fallow patterns more effectively, outperforming approaches that rely on reshaped single-stride ViT tokens.