X Modality Assisting RGBT Object Tracking

📄 arXiv: 2312.17273v2 📥 PDF

作者: Zhaisheng Ding, Haiyan Li, Ruichao Hou, Yanyu Liu, Shidong Xie

分类: cs.CV

发布日期: 2023-12-27 (更新: 2025-02-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出X-Net，通过跨模态辅助提升RGBT目标跟踪的鲁棒性和精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: RGBT跟踪 跨模态融合 知识蒸馏 特征交互 目标跟踪 深度学习

📋 核心要点

  1. RGBT跟踪面临RGB和热红外模态差异大，特征融合困难的问题。
  2. 提出X-Net，通过像素级生成X模态、特征级交互和决策级细化，实现更鲁棒的跟踪。
  3. 实验表明，X-Net在精确率和成功率上均优于现有方法，具有显著的性能提升。

📝 摘要（中文）

本文提出了一种新的X模态辅助网络(X-Net)，旨在提升目标跟踪性能。该网络通过将视觉目标跟踪解耦为三个不同的层次来探索融合范式的影响。首先，为了克服RGB和热红外模态之间显著差异带来的特征学习挑战，提出了一个基于知识蒸馏学习的即插即用像素级生成模块(PGM)，用于生成X模态，弥合两种模式之间的差距，同时最小化噪声干扰。其次，为了优化样本特征表示并促进跨模态交互，引入了一个特征级交互模块(FIM)，集成了混合特征交互Transformer和空间维度特征转换策略。最后，为了解决因实例特征缺失而导致的随机漂移问题，提出了一种灵活的在线优化策略，称为决策级细化模块(DRM)，该模块结合了光流和细化机制。在三个基准数据集上的实验验证了X-Net的有效性，表明其优于最先进的跟踪器。X-Net在精确率和成功率的平均值上分别实现了0.47%/1.2%的性能提升。研究内容、数据和代码将在https://github.com/DZSYUNNAN/XNet上公开。

🔬 方法详解

问题定义：RGBT目标跟踪旨在利用RGB图像和热红外图像的信息，在复杂环境下实现对目标的精确跟踪。然而，RGB和热红外图像在成像原理和信息表达上存在显著差异，直接融合会导致特征学习困难，影响跟踪性能。现有方法难以有效弥合模态差异，易受噪声干扰，且容易出现因特征缺失导致的漂移问题。

核心思路：本文的核心思路是通过引入一个“X模态”，作为RGB和热红外模态之间的桥梁，从而更好地实现跨模态特征融合。具体来说，通过知识蒸馏学习生成X模态，降低模态差异，减少噪声干扰。同时，设计特征级交互模块和决策级细化模块，分别优化特征表示和解决跟踪漂移问题。

技术框架：X-Net的整体框架包含三个主要模块：像素级生成模块(PGM)、特征级交互模块(FIM)和决策级细化模块(DRM)。首先，PGM利用知识蒸馏学习生成X模态，弥合RGB和热红外模态之间的差距。然后，FIM通过混合特征交互Transformer和空间维度特征转换策略，优化样本特征表示并促进跨模态交互。最后，DRM结合光流和细化机制，解决因实例特征缺失而导致的随机漂移问题。

关键创新：本文最重要的技术创新点在于提出了X模态辅助的跨模态特征融合方法。与直接融合RGB和热红外特征不同，X-Net通过生成一个中间模态（X模态），作为两种模态之间的桥梁，从而更好地实现特征对齐和融合。这种方法可以有效降低模态差异带来的影响，提高特征表示的鲁棒性。

关键设计：PGM基于知识蒸馏，利用RGB和热红外图像作为教师信号，训练生成器生成X模态。FIM采用混合特征交互Transformer，自适应地学习不同模态之间的权重。DRM利用光流信息预测目标运动趋势，并结合细化机制修正跟踪结果。损失函数包括知识蒸馏损失、跟踪损失和细化损失。

📊 实验亮点

X-Net在三个RGBT跟踪基准数据集上进行了评估，实验结果表明，X-Net优于当前最先进的跟踪器。具体来说，X-Net在精确率和成功率的平均值上分别实现了0.47%和1.2%的性能提升。这些结果表明，X-Net在RGBT目标跟踪方面具有显著的优势。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、机器人导航等领域。在这些场景中，RGBT跟踪能够提供更鲁棒的目标感知能力，尤其是在光照变化、遮挡等复杂环境下。该方法通过提升跟踪精度和鲁棒性，可以提高相关系统的可靠性和智能化水平，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Developing robust multi-modal feature representations is crucial for enhancing object tracking performance. In pursuit of this objective, a novel X Modality Assisting Network (X-Net) is introduced, which explores the impact of the fusion paradigm by decoupling visual object tracking into three distinct levels, thereby facilitating subsequent processing. Initially, to overcome the challenges associated with feature learning due to significant discrepancies between RGB and thermal modalities, a plug-and-play pixel-level generation module (PGM) based on knowledge distillation learning is proposed. This module effectively generates the X modality, bridging the gap between the two patterns while minimizing noise interference. Subsequently, to optimize sample feature representation and promote cross-modal interactions, a feature-level interaction module (FIM) is introduced, integrating a mixed feature interaction transformer and a spatial dimensional feature translation strategy. Finally, to address random drifting caused by missing instance features, a flexible online optimization strategy called the decision-level refinement module (DRM) is proposed, which incorporates optical flow and refinement mechanisms. The efficacy of X-Net is validated through experiments on three benchmarks, demonstrating its superiority over state-of-the-art trackers. Notably, X-Net achieves performance gains of 0.47%/1.2% in the average of precise rate and success rate, respectively. Additionally, the research content, data, and code are pledged to be made publicly accessible at https://github.com/DZSYUNNAN/XNet.