FedLAB: Traceable Semantic Codebooks for Federated Multimodal Graph Foundation Learning

📄 arXiv: 2606.32016v1 📥 PDF

作者: Zekai Chen, Kairui Yang, Xuaner Chen, Xunkai Li, Xun Wu, Rong-Hua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-06-30

💡 一句话要点

提出FedLAB框架以解决联邦多模态图基础学习中的语义可追溯性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态图 语义可追溯性 知识共享 图基础模型

📋 核心要点

  1. 现有的联邦多模态图学习方法在隐私约束下无法有效共享原始内容和局部结构，导致语义可追溯性不足。
  2. FedLAB框架通过分层的语义代码本组织多模态图知识，支持模态证据、节点语义和拓扑上下文的可追溯性。
  3. 在10个基准和6个下游任务上的实验结果显示，FedLAB相较于现有方法提升了最高7.53%的性能。

📝 摘要（中文）

多模态图基础模型旨在从包含文本、图像、属性和关系拓扑的图中学习可重用知识，以支持多样的图中心和模态中心任务。然而，现有方法在联邦学习环境中面临隐私约束，无法有效共享原始内容和局部结构。为此，本文提出FedLAB，一个可追溯的语义代码本框架，通过类型化的分层代码本组织多模态图知识，并在保持原始内容和图结构本地的同时，通过联邦语义重心预训练进一步优化这些语义单元。实验结果表明，FedLAB在10个基准和6个下游任务中相较于最先进的基线提升了最高7.53%。

🔬 方法详解

问题定义：本文解决的问题是如何在联邦学习环境中实现多模态图的语义可追溯性，现有方法通常通过参数、原型或嵌入进行知识交换，但未能明确展示模态证据、节点语义和拓扑上下文如何共同支持预测。

核心思路：FedLAB框架的核心思路是通过类型化的分层代码本来组织多模态图知识，使得不同模态的证据和语义信息能够被清晰地追溯和利用，从而在隐私保护的前提下实现有效的知识共享和学习。

技术框架：FedLAB的整体架构包括三个主要模块：模态证据代码本、节点语义代码本和拓扑上下文代码本。每个模块负责不同类型的知识表示，并通过联邦语义重心预训练进行优化，确保在数据隔离的情况下保持知识的有效性。

关键创新：FedLAB的主要创新在于引入了可追溯的语义代码本结构，显著提升了多模态图学习中的知识透明度和可解释性。这一设计与现有方法的本质区别在于强调了语义信息的层次化组织和追溯能力。

关键设计：在关键设计方面，FedLAB采用了分层的代码本结构，结合了联邦学习中的语义重心预训练策略，确保了在保留原始数据本地性的同时，能够有效地进行知识的优化和传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FedLAB在10个基准和6个下游任务上相较于最先进的基线模型提升了最高7.53%的性能，展示了其在多模态图学习中的有效性和优势，同时保持了原生的语义追踪接口。

🎯 应用场景

FedLAB框架在社交网络分析、推荐系统和生物信息学等领域具有广泛的应用潜力。通过实现多模态图的语义可追溯性，能够提升模型的可解释性和透明度，促进各类图中心任务的有效执行，未来可能推动更多隐私保护的智能应用落地。

📄 摘要（原文）

Multimodal graph foundation models aim to learn reusable knowledge from graphs enriched with text, images, attributes, and relational topology, thereby supporting diverse graph-centric and modality-centric tasks. In practice, however, such multimodal graphs are often distributed across decentralized clients, where raw contents and local structures cannot be centrally shared due to privacy constraints. This motivates federated multimodal graph foundation learning, which requires not only transferable representation learning but also intrinsic semantic traceability under strict data isolation. Existing methods usually exchange or store knowledge through parameters, prototypes, embeddings, or compact codebooks, which support optimization and transfer but do not explicitly expose how modality evidence, node semantics, and topology context jointly support predictions. To bridge this gap, we propose FedLAB, a traceable semantic codebook framework that organizes multimodal graph knowledge into typed hierarchical codebooks for modality evidence, node semantics, and topology context. FedLAB further refines these trace units through federated semantic barycenter pre-training while keeping raw multimodal contents and graph structures local. Extensive experiments on 10 benchmarks and 6 downstream tasks show that FedLAB improves over state-of-the-art baselines by up to 7.53\%, while preserving a native semantic trace interface.