Multimodal Federated Learning under Dual-Axis Modality Missingness
作者: Adiba Orzikulova, Jaehyun Kwak, Jaemin Shin, Yunqi Guo, Xiaomin Ouyang, Guoliang Xing, Steven Euijong Whang, Sung-Ju Lee
分类: cs.LG, cs.AI
发布日期: 2026-08-10
🔗 代码/项目: GITHUB
💡 一句话要点
提出Flux框架以解决双轴模态缺失问题的多模态联邦学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 联邦学习 模态缺失 置信度调节 隐私保护 医疗应用 智能健康
📋 核心要点
- 现有的多模态联邦学习方法在处理双轴模态缺失时，通常将模态集和样本模态的缺失分别对待，导致效果不佳。
- 本文提出Flux框架，通过模态感知的置信度调节和梯度解耦的私有适应，解决双轴模态缺失问题，实现样本特定的置信度调整。
- 在四个多模态数据集上，Flux的平均宏F1分数超越了最强基线0.8~2.2分，展示了其在模态缺失和输入损坏情况下的优越性。
📝 摘要（中文）
多模态联邦学习（FL）在隐私敏感的健康监测和医疗环境中支持协作建模，但实际部署中常出现双轴模态缺失问题：客户端拥有不同的模态集，且单个样本可能仅包含本地可用模态的子集。现有方法通常分别处理这两个方面。本文提出Flux，一个围绕两个互补组件构建的多模态联邦学习框架。首先，模态感知的置信度调节通过掩码感知的单模态监督学习每个模态的样本特定置信度，并将观察到的模态的置信度估计融合为样本自适应温度，以根据证据质量和完整性调整预测的清晰度。其次，梯度解耦的私有适应仅将此温度应用于客户端私有预测路径，同时使用标准的未调节目标训练共享的联邦模型。这使得样本特定的、客户端本地的置信度适应成为可能，而不会让依赖置信度的梯度干扰共享表示学习。Flux在四个多模态数据集上实现了最高的平均宏F1分数，超越了最强的数据集特定基线0.8~2.2分，平均提升1.6分。
🔬 方法详解
问题定义：本文旨在解决多模态联邦学习中的双轴模态缺失问题，即客户端模态集的差异和单个样本模态的缺失。现有方法通常分别处理这两个问题，导致模型性能受限。
核心思路：Flux框架通过模态感知的置信度调节和梯度解耦的私有适应，允许在不干扰共享表示学习的情况下，实现样本特定的置信度调整，从而提高模型的适应性和准确性。
技术框架：Flux框架包含两个主要组件：模态感知的置信度调节和梯度解耦的私有适应。前者通过掩码感知的单模态监督学习样本特定置信度，后者则在训练共享模型时使用标准目标，仅在私有路径中应用调节后的置信度。
关键创新：Flux的创新在于将模态感知的置信度调节与梯度解耦的私有适应相结合，形成了一种新的多模态联邦学习方法，能够有效应对模态缺失问题。
关键设计：在设计中，采用了样本自适应温度来调整预测的清晰度，并通过标准的未调节目标训练共享模型，确保了模型的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
Flux在四个多模态数据集上表现出色，平均宏F1分数超越最强基线0.8~2.2分，平均提升1.6分，展示了其在模态缺失和输入损坏情况下的优越性。此外，Flux在置信度校准和温度敏感性方面表现良好，优化过程更加稳定。
🎯 应用场景
Flux框架在医疗健康监测、智能穿戴设备和多模态数据分析等领域具有广泛的应用潜力。通过提高模型在模态缺失情况下的适应能力，能够更好地支持隐私保护的协作学习，推动智能医疗和个性化健康管理的发展。
📄 摘要（原文）
Multimodal federated learning (FL) supports collaborative modeling in privacy-sensitive health-sensing and medical settings, but realistic deployments often exhibit dual-axis modality missingness: clients have different modality sets, and individual samples may contain only subsets of the modalities available locally. Existing methods typically address these two axes separately. We propose Flux, a multimodal federated learning framework built around two complementary components. First, modality-aware confidence tempering learns sample-specific confidence for each modality through mask-aware unimodal supervision and fuses the confidence estimates from observed modalities into a sample-adaptive temperature that adjusts predictive sharpness according to evidence quality and completeness. Second, gradient-decoupled private adaptation applies this temperature only to a client-private prediction pathway, while training the shared federated model with a standard, untempered objective. This enables sample-specific, client-local confidence adaptation without allowing confidence-dependent gradients to perturb shared representation learning. Across four multimodal datasets, Flux achieves the highest average macro-F1 on every dataset, outperforming the strongest dataset-specific baseline by 0.8~2.2 points and by 1.6 points on average. Additional analyses demonstrate favorable calibration, temperature sensitivity to both modality missingness and input corruption, and more stable shared optimization under private-only tempering. Our code is available at https://github.com/AdibaOrz/Flux.