From Two-Stream to One-Stream: Efficient RGB-T Tracking via Mutual Prompt Learning and Knowledge Distillation

📄 arXiv: 2403.16834v2 📥 PDF

作者: Yang Luo, Xiqing Guo, Hao Li

分类: cs.CV

发布日期: 2024-03-25 (更新: 2024-04-07)

💡 一句话要点

提出基于互提示学习和知识蒸馏的高效RGB-T跟踪方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: RGB-T跟踪 互提示学习 知识蒸馏 多模态融合 实时跟踪 深度学习 计算机视觉

📋 核心要点

  1. 现有RGB-T跟踪方法在信息融合效率和速度上存在不足，难以满足实时应用需求。
  2. 本文提出了一种双流RGB-T跟踪架构，结合互提示学习与知识蒸馏，提升了信息融合的效率与模型的推理速度。
  3. 实验结果显示，教师模型的精度最高，学生模型在精度相近的情况下，推理速度提升超过三倍，表现优异。

📝 摘要（中文）

由于可见光和热红外模态的互补特性，基于这两种模态融合的物体跟踪（RGB-T跟踪）近年来受到越来越多的关注。如何在较低成本下实现更全面的信息融合是研究者们探索的课题。本文设计了一种基于跨模态互提示学习的双流RGB-T跟踪架构，并利用该模型作为教师模型，通过知识蒸馏技术指导单流学生模型进行快速学习。实验表明，与类似的RGB-T跟踪器相比，教师模型实现了最高的精度，而学生模型在保持相似精度的同时，其推理速度比教师模型快三倍以上。

🔬 方法详解

问题定义：本文旨在解决现有RGB-T跟踪方法在信息融合效率和实时性方面的不足，尤其是在处理速度和精度之间的平衡问题。

核心思路：通过设计双流RGB-T跟踪架构，利用互提示学习来增强模态间的信息共享，并通过知识蒸馏将教师模型的知识传递给学生模型，以实现快速学习和推理。

技术框架：整体架构包括双流教师模型和单流学生模型。教师模型负责进行高精度的跟踪，而学生模型则在教师模型的指导下进行快速推理，二者通过互提示学习进行信息交互。

关键创新：论文的主要创新在于将互提示学习与知识蒸馏相结合，形成了一种新的高效RGB-T跟踪方法。这种方法在信息融合的同时，显著提升了模型的推理速度。

关键设计：在模型设计中，采用了特定的损失函数来优化教师模型与学生模型之间的知识传递，同时在网络结构上进行了优化，以确保在保持精度的前提下，最大限度地提高推理速度。

📊 实验亮点

实验结果表明，教师模型在精度上达到了最高水平，而学生模型在保持相似精度的情况下，其推理速度比教师模型快三倍以上。这一显著提升使得该方法在实时跟踪任务中具备了更强的竞争力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、无人驾驶、安防系统等需要实时物体跟踪的场景。通过提高RGB-T跟踪的效率和精度，该方法能够在复杂环境下提供更可靠的跟踪能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Due to the complementary nature of visible light and thermal infrared modalities, object tracking based on the fusion of visible light images and thermal images (referred to as RGB-T tracking) has received increasing attention from researchers in recent years. How to achieve more comprehensive fusion of information from the two modalities at a lower cost has been an issue that researchers have been exploring. Inspired by visual prompt learning, we designed a novel two-stream RGB-T tracking architecture based on cross-modal mutual prompt learning, and used this model as a teacher to guide a one-stream student model for rapid learning through knowledge distillation techniques. Extensive experiments have shown that, compared to similar RGB-T trackers, our designed teacher model achieved the highest precision rate, while the student model, with comparable precision rate to the teacher model, realized an inference speed more than three times faster than the teacher model.(Codes will be available if accepted.)