GSPan: A Continuous Gaussian Primitive Representation for Arbitrary-Scale Pansharpening

📄 arXiv: 2606.17722v1 📥 PDF

作者: Fangyi Li, Xiaoyuan Yang, Yixiao Li, Zongyang Sui, Kangqing Shen, Gemine Vivone

分类: cs.CV

发布日期: 2026-06-16

💡 一句话要点

提出GSPan以解决任意尺度的全色图像融合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全色图像融合 高分辨率多光谱 深度学习 高斯原语 尺度适应性 遥感图像处理 图像融合

📋 核心要点

  1. 现有的全色图像融合方法通常采用固定网格预测，导致在不同尺度下的适应性不足。
  2. GSPan框架通过引入二维高斯点云表示，采用双流层次交互架构来估计可学习的高斯原语，从而实现灵活的尺度适应。
  3. 在QuickBird、GaoFen-2、WorldView-3等数据集上的实验表明，GSPan在融合性能上达到了最先进水平，并且推理速度显著提升。

📝 摘要（中文）

全色图像融合旨在通过融合低分辨率多光谱（LRMS）和全色（PAN）观测生成高分辨率多光谱（HRMS）图像。现有深度学习方法通常将全色图像融合视为固定网格预测，限制了尺度适应性。为此，本文提出GSPan框架，将二维高斯点云引入全色图像融合。GSPan通过双流层次交互架构和空间-光谱交互注意力模块，从互补的PAN和MS观测中估计连续可学习的二维高斯原语。这种表示方式使得GSPan能够在任意目标采样网格上渲染融合图像，而无需特定尺度的重新训练。实验结果表明，GSPan在多个数据集上实现了最先进的融合性能，并显著加速了推理过程。

🔬 方法详解

问题定义：本文旨在解决全色图像融合中固定网格预测带来的尺度适应性不足的问题。现有方法在不同分辨率下的表现不佳，限制了其应用场景。

核心思路：GSPan通过引入二维高斯点云表示，将带宽残差细节视为连续可学习的高斯原语，从而实现对任意目标采样网格的灵活渲染。这种设计使得模型能够在不同尺度下进行有效的图像融合。

技术框架：GSPan采用双流层次交互架构（DSHI），结合空间-光谱交互注意力模块（SSIA），从互补的PAN和MS观测中提取信息。该框架的主要模块包括高斯原语估计、残差细节场渲染和图像融合。

关键创新：GSPan的核心创新在于使用连续高斯原语表示残差细节，这与传统的固定网格预测方法有本质区别。该方法不仅提高了融合质量，还增强了模型的尺度适应能力。

关键设计：在模型设计中，采用了特定的损失函数以优化高斯原语的学习过程，并通过双流结构实现PAN和MS信息的有效交互。此外，SDAI策略通过在降低分辨率下估计原语，进一步提升了推理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在QuickBird、GaoFen-2、WorldView-3等多个数据集上的实验结果显示，GSPan在融合性能上达到了最先进的水平，相较于传统方法，推理速度显著提升，且在融合质量与计算效率之间实现了良好的平衡。

🎯 应用场景

GSPan在遥感图像处理领域具有广泛的应用潜力，尤其是在城市规划、环境监测和农业管理等场景中。其灵活的尺度适应能力使得该方法能够处理不同分辨率的图像数据，提升图像融合的质量和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pansharpening aims to generate high-resolution multispectral (HRMS) images by fusing low-resolution multispectral (LRMS) and panchromatic (PAN) observations. Most existing deep learning methods treat pansharpening as fixed-grid prediction, which limits scale adaptation. To address this, we propose GSPan, a framework that introduces 2D Gaussian Splatting (GS) into pansharpening. Instead of directly predicting pixels, GSPan represents band-wise residual details as continuous and learnable 2D Gaussian primitives. We design a Dual-Stream Hierarchical Interaction (DSHI) architecture with a Spatial-Spectral Interactive Attention (SSIA) module to estimate these primitives from complementary PAN and MS observations. The predicted primitives are rendered as a residual detail field and injected into the upsampled MS image. This continuous representation allows GSPan to render fused images on arbitrary target sampling grids without scale-specific retraining. It further enables a Scale-Decoupled Asymmetric Inference (SDAI) strategy, which estimates primitives at a reduced resolution and renders the fused image at the target resolution for efficient large-scene pansharpening. Experiments on QuickBird, GaoFen-2, WorldView-3, and WorldView-3-4K datasets show that GSPan delivers state-of-the-art fusion performance. Moreover, SDAI markedly accelerates inference, achieving a favorable trade-off between computational efficiency and fusion quality. Our results demonstrate the potential of continuous Gaussian residual representations as a flexible and scale-decoupled alternative to fixed-grid prediction.