Efficient Remote Sensing Instance Segmentation with Linear-Time State Space Distilled Visual Foundation Models

📄 arXiv: 2606.25324v1 📥 PDF

作者: Qinzhe Yang, Keyan Chen, Jia Xu, Zhenwei Shi, Zhengxia Zou

分类: cs.CV

发布日期: 2026-06-24

备注: 17 pages, 11 figures, has been published in IEEE TGRS vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417, doi: 10.1109/TGRS.2026.3696104

期刊: IEEE Transactions on Geoscience and Remote Sensing, vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417

DOI: 10.1109/TGRS.2026.3696104

🔗 代码/项目: GITHUB

💡 一句话要点

提出RS4D以解决遥感实例分割的计算效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像 实例分割 状态空间建模 蒸馏训练 计算效率 视觉模型 深度学习

📋 核心要点

  1. 现有的ViT基础模型在处理遥感实例分割任务时，计算复杂度高，效率低下。
  2. 本文提出RS4D方法，通过蒸馏状态空间建模实现线性计算复杂度，提升了模型的效率。
  3. 实验结果表明，RS4D在多个数据集上表现优异，参数和FLOPs显著减少，同时保持或提升了准确性。

📝 摘要（中文）

随着Transformer模型在视觉任务中的广泛应用，其计算复杂度随着token数量的增加而呈平方级别增长，这在密集预测任务中尤其明显。实例分割作为遥感领域的典型密集视觉预测任务，面临着类似的效率挑战。本文提出了一种新的遥感实例分割方法RS4D，采用线性计算复杂度的状态空间建模（SSM），通过蒸馏训练有效压缩自注意力空间中的知识。我们设计了一种基于轻量级视觉编码器的遥感图像实例分割架构，并在多个基准数据集上进行了广泛实验，结果显示该方法在参数和FLOPs上分别减少了8倍和9倍，同时保持了与ViT和CNN方法相当或更优的准确性。

🔬 方法详解

问题定义：本文旨在解决遥感实例分割中ViT基础模型的计算效率问题。现有方法在处理长序列时，计算复杂度呈平方级别增长，导致效率低下。

核心思路：提出RS4D方法，采用蒸馏状态空间建模（SSM），通过将自注意力空间中的知识压缩到紧凑的线性状态空间，从而实现线性计算复杂度。

技术框架：RS4D的整体架构包括轻量级SSM骨干网络和基于此的实例分割头。我们探索了三种不同的骨干网络和两种分割头的变体，以优化性能。

关键创新：最重要的创新在于引入了适应性噪声和掩蔽知识蒸馏训练方法，有效地压缩了知识并提升了模型的计算效率，与传统的ViT和CNN方法相比，显著降低了参数和计算量。

关键设计：在网络结构上，采用轻量级的SSM骨干网络，结合适应性损失函数进行训练，确保在减少计算复杂度的同时，保持模型的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RS4D方法在多个基准数据集上相比于ViT基础方法，参数减少了8倍，FLOPs减少了9倍，同时在准确性上保持了相当或更优的表现，展示了其在遥感实例分割任务中的有效性。

🎯 应用场景

该研究在遥感图像分析、环境监测和城市规划等领域具有广泛的应用潜力。通过提高实例分割的效率，RS4D能够支持实时处理和大规模数据集的分析，推动遥感技术的进一步发展。

📄 摘要（原文）

The computational complexity of Transformers scales quadratically with the number of tokens, which significantly constrains the efficiency of vision models, particularly recent ViT-based foundation models in dense prediction tasks. Instance segmentation, a typical dense visual prediction task in the remote sensing field, faces similar challenges. In this paper, inspired by the recent advances of knowledge distillation in large language models, we introduce RS4D - a new remote sensing instance segmentation method with linear computational complexity, which addresses the inefficiency of long sequence modeling through distilled state space modeling (SSM). We propose an adaptive noise and masking knowledge distillation training method for pre-training lightweight SSM backbones, which effectively compresses knowledge from the vast self-attention space into a compact, dense linear state space. We also design a remote sensing image instance segmentation architecture based on this lightweight visual encoder, where we explore variants of three different backbones and two segmentation heads. Extensive experiments are conducted on multiple benchmark datasets, including SSDD, WHU, and NWPU. Compared to ViT-based approaches, our proposed SSM backbone achieves an 8x reduction in parameters and a 9x reduction in FLOPs while maintaining comparable or superior accuracy to both ViT- and CNN-based instance segmentation methods. The implementation codes have been publicly available at https://github.com/QinzheYang/RS4D.