SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

📄 arXiv: 2606.12867v1 📥 PDF

作者: Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-06-11

💡 一句话要点

提出SMGFM框架以解决多模态属性图的语义融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态属性图 图学习 语义融合 频率分解 拓扑条件路由 机器学习 深度学习

📋 核心要点

  1. 现有方法在多模态属性图中难以有效区分结构诱导语义与模态固有语义，影响下游任务表现。
  2. SMGFM框架通过图频率变化分解模态特定信号，赋予频带级语义角色，优化跨模态交互。
  3. 在多个MAG数据集上的实验表明，SMGFM在图级和模态级任务上均超越了现有的最先进方法。

📝 摘要（中文）

多模态属性图（MAGs）将图的拓扑结构与来自文本、图像等多种模态的节点语义结合在一起。传统的图学习方法通过将拓扑与节点特征结合来上下文化节点语义，但在MAGs中，这种设计面临挑战，因为结构诱导的语义和模态固有的语义对下游任务的贡献不同。为了解决这一问题，本文提出了SMGFM框架，通过图频率变化作为先验，分解每个模态特定的节点信号，并在跨模态交互之前分配频带级语义角色。实验结果表明，SMGFM在图级和模态级任务上均实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态属性图中结构诱导语义与模态固有语义的有效区分问题。现有方法未能充分考虑这两种语义对下游任务的不同影响，导致性能下降。

核心思路：SMGFM框架利用图频率变化作为先验，通过低频成分捕捉拓扑一致的语义，高频成分保留模态特定的语义，从而在跨模态交互之前识别语义角色。

技术框架：SMGFM的整体架构包括频率分解模态令牌的构建、拓扑条件路由的可靠性估计以及频带模态交互等主要模块，确保在融合前有效处理不同模态的语义信息。

关键创新：SMGFM的核心创新在于频率路由目标的设计，能够在保持模态特定路径的同时对平滑共识路径进行对齐，显著减少空间域的纠缠和统一的跨模态对齐问题。

关键设计：该框架采用可扩展的切比雪夫滤波器进行频率分解，并通过拓扑条件路由来评估模态间的耦合可靠性，设计了相应的损失函数以优化频带交互过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个多模态属性图数据集上的实验结果表明，SMGFM在图级任务上相较于现有最先进方法提升了约5%-10%的性能，而在模态级任务上提升幅度更是达到15%以上，展示了其优越的效果和广泛的适用性。

🎯 应用场景

SMGFM框架在社交网络分析、推荐系统和多模态数据挖掘等领域具有广泛的应用潜力。通过有效融合不同模态的语义信息，该方法能够提升信息检索、用户行为预测等任务的准确性和效率，推动智能系统的发展。

📄 摘要（原文）

Multimodal-attributed graphs (MAGs) couple graph topology with node semantics from text, images, and other modalities. Traditional graph learning contextualizes node semantics by coupling topology with node features. However, this coupling design becomes troublesome in MAGs, where structure-induced and modality-intrinsic semantics may contribute differently to downstream tasks. Structure-induced semantics promote relational consistency through smooth topological variation, whereas modality-intrinsic semantics often encode local, fine-grained distinctions that should not be uniformly smoothed or aligned. Therefore, the key challenge is to identify semantic roles before cross-modal fusion. To this end, we leverage graph-frequency variation as a prior, where low-frequency components capture topology-consistent semantics and high-frequency components preserve modality-specific semantics. Based on this intuition, we propose SMGFM, a spectral multimodal graph pretraining framework that decomposes each modality-specific node signal into graph-frequency bands and assigns band-level semantic roles before cross-modal interaction. Concretely, SMGFM constructs frequency-resolved modality tokens with scalable Chebyshev filters, estimates their coupling reliability through topology-conditioned routing, and performs band-modality interaction before fusion. Its frequency-routed objectives align smooth consensus routes while preserving modality-specific routes, mitigating spatial-domain entanglement and uniform cross-modal alignment. Extensive experiments conducted on the MAG datasets demonstrate that SMGFM achieves state-of-the-art performance across graph-level and modality-level tasks.