Towards Modality-imbalanced Federated Graph Learning: A Data Synthesis-based Approach
作者: Zhengyu Wu, Hongchao Qin, Xunkai Li, Zekai Chen, Rong-Hua Li, Guoren Wang
分类: cs.LG
发布日期: 2026-06-18
💡 一句话要点
提出FedMGS以解决多模态不平衡的联邦图学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 联邦学习 图学习 模态不平衡 语义合成
📋 核心要点
- 现有的多模态联邦图学习方法在客户端和节点级别上存在模态不平衡问题，导致训练效果不佳。
- 本文提出FedMGS，通过隐式图感知的潜在语义表示合成，恢复缺失模态的语义信息，提升模型性能。
- 在四个任务上的实验结果显示，FedMGS在性能上优于现有基线，提升幅度最高达到17.41%。
📝 摘要（中文）
多模态联邦图学习（MM-FGL）提供了一种自然的协作训练范式，但其实际部署面临客户端级和节点级的模态不平衡问题。现有研究主要集中于图无关或集中场景，难以直接适应。为此，本文将模态不平衡的MM-FGL形式化为隐式图感知的潜在语义表示合成问题，提出FedMGS（联邦模态感知图合成），通过三个核心组件来恢复缺失的模态语义，最大化与原始数据语义分布的对齐，并减轻缺失模态带来的高方差。实验表明，FedMGS在四个任务上均优于竞争基线，性能提升最高可达17.41%。
🔬 方法详解
问题定义：本文旨在解决多模态联邦图学习中的模态不平衡问题，现有方法多集中于图无关或集中场景，难以适应实际应用中的模态缺失情况。
核心思路：通过将模态不平衡的MM-FGL形式化为隐式图感知的潜在语义表示合成问题，直接在表示空间中恢复缺失的模态语义，从而提高与原始数据语义分布的对齐度。
技术框架：FedMGS的整体架构包括三个主要模块：可用性感知图编码器、原型引导的潜在语义合成器和可靠性校准的语义融合机制，分别负责处理模态缺失、建立语义锚点和调节潜在表示的影响。
关键创新：FedMGS的创新在于其隐式图感知的合成方法，能够有效恢复缺失模态的语义信息，与传统方法相比，显著提高了模型的鲁棒性和性能。
关键设计：在设计中，采用了可用性感知图编码器以防止模态缺失对局部结构传播的污染，原型引导的合成器用于建立跨客户端的语义锚点，最后通过可靠性校准机制调节恢复的潜在表示对预测结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FedMGS在四个任务上均优于竞争基线，性能提升最高可达17.41%。这一结果表明，FedMGS在处理模态不平衡问题上具有显著优势，能够有效提升模型的整体性能和稳定性。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、社交网络分析和智能交通系统等，能够在数据隐私保护的前提下，提升多模态数据的学习效果。未来，FedMGS有望在更多实际场景中推广应用，推动联邦学习和图学习的结合。
📄 摘要（原文）
MultiModal Federated Graph Learning (MM-FGL) offers a natural collaborative training paradigm, but its practical deployment is challenged by two granularities of modality imbalance. Client-level imbalance occurs when certain clients lack entire modalities, while node-level imbalance occurs when individual nodes exhibit missing visual or textual attributes. While several relevant studies exist, our investigation reveals that they predominantly target graph-agnostic or centralized scenarios, rendering them difficult to adapt directly. To address these challenges, we formalize modality-imbalanced MM-FGL as an implicit graph-aware latent semantic representation synthesis problem. This paradigm recovers missing modal semantics directly within the representation space, thereby maximizing alignment with the original data's semantic distribution and mitigating the high variance induced by missing modalities. To this end, we propose FedMGS (Federated Modality-aware Graph Synthesis), which integrates three core components. The availability-aware graph encoder prevents missing modalities from contaminating local structural propagation. The prototype-guided latent semantic synthesizer establishes cross-client semantic anchors for unavailable modalities. The reliability-calibrated semantic fusion mechanism regulates the impact of recovered latent representations prior to predictive readout. Extensive experiments on four tasks show that FedMGS consistently outperforms competitive baselines with gains up to 17.41% with best efficiency-performance tradeoff.