Transformer RGBT Tracking with Spatio-Temporal Multimodal Tokens
作者: Dengdi Sun, Yajie Pan, Andong Lu, Chenglong Li, Bin Luo
分类: cs.CV
发布日期: 2024-01-03
💡 一句话要点
提出一种新型Transformer RGBT跟踪方法以应对目标外观变化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: RGBT跟踪 多模态融合 Transformer 动态模板 目标外观变化 注意力机制 实时跟踪
📋 核心要点
- 现有RGBT跟踪方法在处理目标外观变化时存在不足，容易导致目标外观的偏差和误差累积。
- 本文提出通过引入时空多模态令牌和动态模板令牌的交互，来有效处理目标外观变化，增强跟踪的鲁棒性。
- 在三个RGBT基准数据集上的实验表明，所提方法在性能上与其他最先进的跟踪算法相当，且运行速度达到39.1 FPS。
📝 摘要（中文）
许多RGBT跟踪研究主要集中在模态融合设计上，而忽视了有效处理目标外观变化的重要性。虽然一些方法引入了历史帧或融合替换初始模板以纳入时间信息，但这些方法可能会破坏原始目标外观并随着时间的推移累积误差。为了解决这些局限性，本文提出了一种新型的Transformer RGBT跟踪方法，通过混合来自静态多模态模板和多模态搜索区域的时空多模态令牌来处理目标外观变化，从而实现稳健的RGBT跟踪。我们引入独立的动态模板令牌与搜索区域进行交互，嵌入时间信息以应对外观变化，同时保留初始静态模板令牌在联合特征提取过程中的参与，以确保保留原始可靠的目标外观信息，防止传统时间更新造成的目标外观偏差。实验结果表明，该方法在三个RGBT基准数据集上表现出竞争力，运行速度为39.1 FPS。
🔬 方法详解
问题定义：本文旨在解决RGBT跟踪中目标外观变化带来的挑战，现有方法在引入时间信息时可能破坏目标外观，导致跟踪精度下降。
核心思路：提出一种新型的Transformer RGBT跟踪方法，通过混合静态多模态模板和动态模板令牌，利用时空信息来增强目标外观的鲁棒性，避免传统方法的缺陷。
技术框架：整体架构包括静态多模态模板、动态模板令牌和多模态搜索区域，利用注意力机制实现各模块之间的交互，确保信息的有效传递与融合。
关键创新：引入独立的动态模板令牌与搜索区域交互，嵌入时间信息以应对外观变化，同时保留初始静态模板的参与，确保目标外观信息的保留。
关键设计：在网络结构中，采用注意力机制增强多模态模板令牌的目标特征，确保动态模板令牌与搜索区域令牌之间的有效交互，优化了特征提取和模态融合过程。
🖼️ 关键图片
📊 实验亮点
在三个RGBT基准数据集上的实验结果显示，所提方法在跟踪性能上与其他最先进的算法相当，且运行速度达到39.1 FPS，展现出良好的实时性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、无人驾驶、增强现实等场景，能够在复杂环境中实现高效、准确的目标跟踪，具有重要的实际价值和未来影响。
📄 摘要（原文）
Many RGBT tracking researches primarily focus on modal fusion design, while overlooking the effective handling of target appearance changes. While some approaches have introduced historical frames or fuse and replace initial templates to incorporate temporal information, they have the risk of disrupting the original target appearance and accumulating errors over time. To alleviate these limitations, we propose a novel Transformer RGBT tracking approach, which mixes spatio-temporal multimodal tokens from the static multimodal templates and multimodal search regions in Transformer to handle target appearance changes, for robust RGBT tracking. We introduce independent dynamic template tokens to interact with the search region, embedding temporal information to address appearance changes, while also retaining the involvement of the initial static template tokens in the joint feature extraction process to ensure the preservation of the original reliable target appearance information that prevent deviations from the target appearance caused by traditional temporal updates. We also use attention mechanisms to enhance the target features of multimodal template tokens by incorporating supplementary modal cues, and make the multimodal search region tokens interact with multimodal dynamic template tokens via attention mechanisms, which facilitates the conveyance of multimodal-enhanced target change information. Our module is inserted into the transformer backbone network and inherits joint feature extraction, search-template matching, and cross-modal interaction. Extensive experiments on three RGBT benchmark datasets show that the proposed approach maintains competitive performance compared to other state-of-the-art tracking algorithms while running at 39.1 FPS.