Latent Spectral Prompting for Multimodal Hyperspectral Object Tracking

📄 arXiv: 2611.02512v1 📥 PDF

作者: Wangshu Cai, Jun Zhou, Lei Wang, Mohammad Aminul Islam, Xu Han, Kuldip Paliwal

分类: cs.CV, cs.AI

发布日期: 2026-11-02

备注: Accepted at the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2027)

💡 一句话要点

提出SProTrack以解决多模态高光谱目标跟踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱视频 目标跟踪 多模态融合 自监督学习 潜在提示

📋 核心要点

  1. 现有方法在高光谱目标跟踪中面临有限标注和RGB-高光谱领域差距的问题，导致性能受限。
  2. SProTrack通过潜在光谱提示将预训练RGB跟踪器的时间知识转移到高光谱领域，解耦时间建模与光谱适应。
  3. 实验结果显示，SProTrack在HOT2020和HOT2023数据集上表现优异，超越了所有对比基线，提升显著。

📝 摘要（中文）

高光谱视频提供丰富的光谱特征，有助于在伪装和低光照等挑战条件下进行稳健跟踪。然而，有限的高光谱标注和RGB-高光谱领域间的巨大差距限制了现代RGB跟踪器的直接应用。本文提出了SProTrack，一个多模态框架，通过潜在光谱提示将预训练RGB跟踪器的时间知识转移到高光谱领域。其核心思想是将时间建模与光谱适应解耦，使RGB基础模型的时间动态得以继承，同时通过自监督方式从未标记数据中学习高光谱信息。与丢弃大部分光谱信息的带选择方法或依赖局部搜索裁剪的提示方法不同，SProTrack使用自编码器从完整的高光谱帧中学习全局场景级光谱表示。该潜在表示用于指导光谱提示提取，而预训练的RGB跟踪器则在RGB兼容输入上保持强大的时间建模能力。通过将光谱-空间结构编码为紧凑的潜在提示，SProTrack在无需大量重新训练或密集监督的情况下弥合了RGB-高光谱模态差距。实验结果表明，SProTrack在HOT2020和HOT2023数据集上表现最佳，在所有光谱域中均取得了强劲的结果。

🔬 方法详解

问题定义：本文旨在解决高光谱目标跟踪中由于有限标注和RGB-高光谱领域差距带来的性能不足问题。现有方法往往依赖于丢弃光谱信息或局部搜索，导致信息损失和跟踪效果不佳。

核心思路：SProTrack的核心思路是通过潜在光谱提示将RGB跟踪器的时间知识有效转移到高光谱领域，解耦时间建模与光谱适应，使得时间动态可以从RGB模型中继承，同时通过自监督学习获取高光谱信息。

技术框架：SProTrack的整体架构包括两个主要模块：首先是自编码器用于从完整的高光谱帧中学习全局场景级光谱表示，其次是预训练的RGB跟踪器用于在RGB兼容输入上进行强大的时间建模。潜在光谱提示则用于指导光谱信息的提取。

关键创新：SProTrack的创新在于其通过潜在光谱提示实现了RGB与高光谱模态之间的有效桥接，避免了大量重新训练和密集监督的需求。这一方法与传统的带选择和局部搜索方法本质上不同，能够保留更多的光谱信息。

关键设计：在设计上，SProTrack采用了自编码器结构以学习全局光谱表示，并通过编码光谱-空间结构生成紧凑的潜在提示。此外，损失函数的设计也考虑了时间建模与光谱适应的平衡，确保了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HOT2020和HOT2023数据集上的实验结果显示，SProTrack在所有光谱域中均取得了最佳性能，相较于现有基线方法，性能提升显著，具体提升幅度未知，表明其在多模态高光谱目标跟踪中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、环境监测和农业遥感等。通过提高高光谱目标跟踪的准确性和鲁棒性，SProTrack能够在复杂环境中提供更可靠的目标识别和跟踪能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Hyperspectral videos provide rich spectral signatures for robust tracking under challenging conditions such as camouflage and low illumination. However, limited hyperspectral annotations and the large RGB-hyperspectral domain gap hinder the direct use of modern temporally pretrained RGB trackers. We propose SProTrack, a multimodal framework that transfers temporal knowledge from pretrained RGB trackers to the hyperspectral domain through latent spectral prompting. The key idea is to decouple temporal modeling from spectral adaptation, allowing temporal dynamics to be inherited from RGB foundation models while hyperspectral information is learned from unlabeled data in a self-supervised manner. Unlike band-selection methods that discard most spectral information or prompt-based approaches that rely on local-search crops, SProTrack learns a global, scene-level spectral representation from the full hyperspectral frame using an autoencoder. This latent representation is used to guide spectral prompt extraction while a pretrained RGB tracker preserves strong temporal modeling on RGB-compatible inputs. By encoding spectral-spatial structure into compact latent prompts, SProTrack bridges the RGB-hyperspectral modality gap without extensive retraining or dense supervision. Experiments on HOT2020 and HOT2023 demonstrate that SProTrack achieves the best overall performance, with strong results across all spectral domains.