Hybrid Federated Learning for Multimodal Fusion under Missing Modalities and Site Heterogeneity

📄 arXiv: 2611.03032v1 📥 PDF

作者: Xiaofei Wu, Rongmei Liang, Jian Qing Shi

分类: cs.LG, stat.AP

发布日期: 2026-11-02

💡 一句话要点

提出混合联邦学习以解决多模态融合中的缺失模态和站点异质性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合联邦学习 多模态融合 模态缺失 站点异质性 风险聚合 组核正则化 活动识别

📋 核心要点

  1. 现有方法在多模态融合中面临模态缺失和站点异质性的问题，导致性能下降。
  2. 论文提出的2D-FedSMKL方法通过整合可用性校正得分和组核正则化，提升了模型在异质环境下的鲁棒性。
  3. 实验结果表明，最差站点聚合显著改善了模型在异质性条件下的性能，且所选模型在最差站点的表现与最强基线相当。

📝 摘要（中文）

本研究探讨了在混合联邦环境下的多模态融合，其中数据在样本和特征块之间进行分区。提出的二维联邦平滑多核大间隔学习方法（2D-FedSMKL）整合了可用性校正模态得分、组核正则化和平滑最差站点风险聚合。对于固定的映射和倾向性，目标是凸且光滑。为二分类和多分类得分建立了曲率界限和精确同步块梯度等价性，给出了条件加速率。此外，还推导了一个oracle倾向性二元风险界限和倾向性扰动结果。通过模拟和两个公共活动识别基准评估站点异质性和模态缺失。最差站点聚合在异质性下改善了最差站点性能，包括反向和大小平衡设计。

🔬 方法详解

问题定义：本研究旨在解决多模态融合中的模态缺失和站点异质性问题。现有方法在处理这些挑战时，往往无法有效整合不同模态的数据，导致模型性能下降。

核心思路：论文提出的二维联邦平滑多核大间隔学习方法（2D-FedSMKL）通过引入可用性校正模态得分和组核正则化，旨在提升模型在异质环境下的表现。该方法的设计考虑了不同模态的可用性和站点的特性，从而实现更好的融合效果。

技术框架：该方法的整体架构包括数据的分区、模态得分的校正、组核正则化以及最差站点风险的平滑聚合。具体流程为：首先对数据进行分区，然后计算可用性校正得分，接着应用组核正则化，最后进行风险聚合。

关键创新：最重要的技术创新在于引入了平滑最差站点风险聚合机制，这一机制能够有效应对站点异质性带来的挑战，与传统方法相比，显著提升了模型的鲁棒性和准确性。

关键设计：在参数设置上，采用了固定的映射和倾向性，确保目标函数的凸性和光滑性。此外，论文还设计了特定的损失函数和正则化策略，以适应不同数据集的特性。具体的网络结构和参数设置在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，最差站点聚合方法在异质性条件下显著提高了模型性能，尤其是在两个公共活动识别基准上，所选模型在最差站点的表现与最强基线相当，验证了方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、医疗诊断和人机交互等场景，尤其是在数据分布不均或模态缺失的情况下，能够有效提升模型的性能和可靠性。未来，该方法有望在更多实际应用中推广，推动多模态学习的发展。

📄 摘要（原文）

Multimodal fusion is studied under hybrid federation, where data are partitioned across samples and feature blocks. The proposed two-dimensional federated smooth multiple-kernel large-margin learning method (2D-FedSMKL) integrates availability-corrected modality scores, group-kernel regularization, and smooth worst-site risk aggregation. For fixed maps and propensities, the objective is convex and smooth. Curvature bounds and exact synchronous block-gradient equivalence are established for binary and multiclass scores, giving a conditional accelerated rate. An oracle-propensity binary risk bound and a propensity-perturbation result are also derived. Simulations and two public activity-recognition benchmarks assess site heterogeneity and modality absence. Worst-site aggregation improves worst-site performance under heterogeneity, including reversed and size-balanced designs. On the benchmarks, validation selects the correction; the selected model is not significantly worse than the strongest reference at the worst site, and group-regularization benefits vary by dataset.