Fed-MAPTrack: Federated Modality-aware Prompt Tuning for RGB-X Tracking

📄 arXiv: 2610.34939v1 📥 PDF

作者: Xiangyu Liu, Yijie Shen, Yue Yin, Zhitong Yin, Yongqi Pan, Wentao Fan

分类: cs.CV

发布日期: 2026-10-26

💡 一句话要点

提出Fed-MAPTrack以解决RGB-X跟踪中的传感器异构问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RGB-X跟踪 联邦学习 模态感知 多模态融合 传感器异构性 提示调优 深度学习 智能监控

📋 核心要点

  1. 现有的RGB-X跟踪方法在集中训练中需要收集多模态视频，导致数据隐私和传感器异构性问题。
  2. Fed-MAPTrack通过模态感知的联邦提示调优框架，优化和交换提示相关参数，解决了传感器异构性带来的挑战。
  3. 在LasHeR、VisEvent和DepthTrack数据集上，Fed-MAPTrack分别提升了2.35 AUC、3.45 SR和2.11 F-score，表现优于其他方法。

📝 摘要（中文）

RGB-X跟踪通过结合RGB外观与热成像、深度或事件观测来增强跟踪性能，但集中训练需要在单一位置收集多模态视频。联邦训练能够保持原始视频的本地性，但传感器异构性可能导致参数共享域与贡献客户端之间的不匹配。为此，本文提出Fed-MAPTrack，一个针对RGB-X跟踪的模态感知联邦提示调优框架。该框架冻结预训练的跟踪主干和预测头，仅优化和交换与提示相关的参数。实验结果表明，Fed-MAPTrack在多个数据集上显著提升了跟踪性能。

🔬 方法详解

问题定义：本文旨在解决RGB-X跟踪中由于传感器异构性导致的参数共享域与客户端之间的不匹配问题。现有方法在集中训练中需要收集多模态视频，限制了数据隐私和灵活性。

核心思路：Fed-MAPTrack通过模态感知的联邦提示调优框架，冻结预训练的主干和预测头，仅优化与提示相关的参数，从而有效利用RGB-only客户端的贡献，同时避免不必要的模态特定更新。

技术框架：该框架包括客户端和服务器两个主要模块。客户端优化提示参数并进行交换，服务器则聚合RGB共享参数，并为热成像、事件和深度数据维护独立的参数库。

关键创新：Fed-MAPTrack的创新之处在于其模态感知的设计，允许RGB-only客户端参与全局RGB参数的更新，而不影响模态特定的聚合过程。这种设计有效地解决了传感器异构性问题。

关键设计：在参数设置上，客户端仅优化与提示相关的参数，服务器则对不同模态的参数进行分类管理。实验中采用了选择性参与策略，以确保RGB-only客户端的有效贡献。损失函数和网络结构的具体细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，Fed-MAPTrack显著提升了跟踪性能，LasHeR上提高了2.35 AUC，VisEvent上提高了3.45 SR，DepthTrack上提高了2.11 F-score。在九种评估方法中，其热成像AUC和深度F-score均为最高，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶和机器人导航等场景。在这些应用中，能够有效融合多种传感器数据以提升跟踪性能，将对系统的智能化和自动化水平产生积极影响。未来，Fed-MAPTrack有望推动更多基于联邦学习的多模态数据处理技术的发展。

📄 摘要（原文）

RGB-X tracking complements RGB appearance with thermal, depth, or event observations, but centralized training requires collecting multimodal videos at a single location. Federated training keeps raw videos local, but sensor heterogeneity can create a mismatch between parameter-sharing domains and the clients contributing to them. This mismatch is particularly relevant when RGB-only clients coexist with sensor-equipped clients: their RGB observations remain useful, but they provide no auxiliary measurements for learning sensor-dependent interactions. We propose Fed-MAPTrack, a modality-aware federated prompt tuning framework for RGB-X tracking. The pretrained tracking backbone and prediction head are frozen, and clients optimize and exchange only prompt-related parameters. The server aggregates RGB-shared parameters globally and maintains separate thermal, event, and depth banks for auxiliary-specific, fusion, and normalization parameters. Selective participation retains RGB-only clients' contributions to the global RGB bank while excluding their fusion and normalization updates from modality-specific aggregation. Across three matched training repetitions under a fixed client partition, Fed-MAPTrack improves the mean FedAvg scores by 2.35 AUC points on LasHeR, 3.45 SR points on VisEvent, and 2.11 F-score points on DepthTrack. Among the nine evaluated methods, it achieves the highest mean thermal AUC and depth F-score, while its mean event SR is 0.07 points below that of Independent FL. Controlled ablations show that extending the bucketing scope without a compatible participation rule can reduce performance. These results highlight the need to jointly define the sharing domain and eligible contributors for each parameter group.