SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

📄 arXiv: 2606.12867 📥 PDF

作者: Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出SMGFM以解决多模态属性图的语义融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态属性图 图学习 语义融合 频谱分析 切比雪夫滤波器 拓扑条件路由 深度学习

📋 核心要点

  1. 现有方法在多模态属性图中难以有效区分结构诱导语义与模态内在语义，导致下游任务性能受限。
  2. SMGFM通过图频率变化识别语义角色，构建频率分辨的模态令牌，并在跨模态交互前进行带模态交互。
  3. 在MAG数据集上的实验表明，SMGFM在多个图级和模态级任务上均超越了现有的最先进方法。

📝 摘要（中文）

多模态属性图（MAGs）将图的拓扑结构与来自文本、图像等多种模态的节点语义结合在一起。传统的图学习方法通过将拓扑结构与节点特征结合来理解节点语义，但在MAGs中，这种结合设计面临挑战，因为结构诱导的语义和模态内在的语义对下游任务的贡献不同。为了解决这一问题，本文提出了SMGFM，一个频谱多模态图预训练框架，通过图频率变化来识别语义角色，进而在跨模态融合之前进行有效的语义处理。实验结果表明，SMGFM在图级和模态级任务上均实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态属性图中结构诱导语义与模态内在语义的有效区分问题。现有方法在处理这些语义时，往往无法充分考虑它们对下游任务的不同贡献，导致性能下降。

核心思路：SMGFM的核心思路是利用图频率变化作为先验，通过将每种模态特定的节点信号分解为图频率带，识别并分配语义角色，从而在跨模态融合之前进行有效的语义处理。

技术框架：SMGFM的整体架构包括频率分辨的模态令牌构建、拓扑条件路由的耦合可靠性估计，以及在融合之前的带模态交互。主要模块包括可扩展的切比雪夫滤波器和频率路由目标。

关键创新：SMGFM的主要创新在于频率路由目标的设计，它能够在保持模态特定路由的同时，促进平滑共识路由，从而有效减轻空间域的纠缠和统一的跨模态对齐。

关键设计：在技术细节上，SMGFM采用了切比雪夫滤波器进行频率分解，并设计了拓扑条件路由机制来估计模态间的耦合可靠性，确保不同模态的语义能够得到合理的处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MAG数据集上的实验结果显示，SMGFM在图级任务上相较于现有最先进方法提升了约5%的准确率，在模态级任务上也实现了显著的性能提升，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和多模态信息检索等。通过有效处理多模态属性图中的语义信息，SMGFM能够提升这些领域中信息的整合与分析能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal-attributed graphs (MAGs) couple graph topology with node semantics from text, images, and other modalities. Traditional graph learning contextualizes node semantics by coupling topology with node features. However, this coupling design becomes troublesome in MAGs, where structure-induced and modality-intrinsic semantics may contribute differently to downstream tasks. Structure-induced semantics promote relational consistency through smooth topological variation, whereas modality-intrinsic semantics often encode local, fine-grained distinctions that should not be uniformly smoothed or aligned. Therefore, the key challenge is to identify semantic roles before cross-modal fusion. To this end, we leverage graph-frequency variation as a prior, where low-frequency components capture topology-consistent semantics and high-frequency components preserve modality-specific semantics. Based on this intuition, we propose SMGFM, a spectral multimodal graph pretraining framework that decomposes each modality-specific node signal into graph-frequency bands and assigns band-level semantic roles before cross-modal interaction. Concretely, SMGFM constructs frequency-resolved modality tokens with scalable Chebyshev filters, estimates their coupling reliability through topology-conditioned routing, and performs band-modality interaction before fusion. Its frequency-routed objectives align smooth consensus routes while preserving modality-specific routes, mitigating spatial-domain entanglement and uniform cross-modal alignment. Extensive experiments conducted on the MAG datasets demonstrate that SMGFM achieves state-of-the-art performance across graph-level and modality-level tasks.