ReCoG: Reciprocal Co-Evolution for Multimodal Graph Learning

📄 arXiv: 2608.22786v1 📥 PDF

作者: Rui Xue, Tianfu Wu

分类: cs.LG

发布日期: 2026-08-24

💡 一句话要点

提出ReCoG以解决多模态图学习中的结构与语义耦合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图学习 图神经网络 结构学习 语义推断 跨模态交互

📋 核心要点

  1. 现有多模态图学习方法往往将图结构学习与多模态表示学习分开，导致无法有效捕捉语义关系。
  2. ReCoG通过端到端的互作机制，将图结构学习与多模态表示学习紧密耦合，提升了模型的表达能力。
  3. 在多项基准测试中，ReCoG在节点分类和链接预测任务上均超越了现有的强基线，验证了其有效性。

📝 摘要（中文）

多模态图学习需要在图结构和异构节点属性上进行联合训练，但现有方法往往将这两个过程分开。以往的多模态图神经网络主要关注在共享嵌入空间中对齐模态，而图结构学习方法则从单一模态节点表示推断拓扑，未考虑多模态交互。这种分离限制了图神经网络在多模态环境中捕捉语义关系的能力。为此，本文提出了ReCoG（Reciprocal Co-Evolution for Multimodal Graph Learning），一种通过端到端的互作紧密耦合图结构学习和多模态表示学习的新范式。ReCoG集成了多模态图精炼器和耦合的跨模态消息传递机制，显著提升了表达能力，并允许拓扑与表示学习之间的动态交互。实验结果表明，ReCoG在节点分类和链接预测等多项基准测试中均优于强基线。

🔬 方法详解

问题定义：本文旨在解决多模态图学习中图结构与节点表示之间的耦合问题。现有方法往往忽视多模态交互，导致模型在处理噪声和不完整边时表现不佳。

核心思路：ReCoG的核心思想是通过互作机制将图结构学习与多模态表示学习结合，利用跨模态语义证据来推断和修正图的边。

技术框架：ReCoG的整体架构包括两个主要模块：多模态图精炼器和耦合的跨模态消息传递机制。前者负责边的推断与修正，后者则在精炼后的图上进行模态间的信息传播。

关键创新：ReCoG的创新在于其端到端的互作设计，使得图结构与表示学习之间能够动态交互，从而提升了模型的表达能力，区别于以往的分离式方法。

关键设计：在设计中，ReCoG采用了特定的损失函数来平衡图结构与表示学习的目标，同时在网络结构上实现了跨模态信息的高效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项节点分类和链接预测的基准测试中，ReCoG显著优于现有的多模态图结构学习基线，尤其在处理复杂数据时表现出更高的准确性和鲁棒性，验证了其在多模态学习中的有效性。

🎯 应用场景

ReCoG在社交网络分析、推荐系统和生物信息学等领域具有广泛的应用潜力。通过有效整合多模态数据，该方法能够提升信息的理解与利用效率，推动相关领域的研究与应用发展。

📄 摘要（原文）

Multimodal graph learning requires jointly training over graph structure and heterogeneous node attributes, yet existing methods largely decouple these processes: prior multimodal graph neural networks (GNNs) focus on aligning modalities in a shared embedding space while operating on fixed or weakly adapted graph structures, and graph structure learning approaches infer topology from unimodal node representations without accounting for multimodal interactions. This separation fundamentally limits the ability of GNNs to capture semantically meaningful relationships in multimodal settings, where observed edges are often noisy, incomplete, or misaligned with underlying semantics. We propose ReCoG (Reciprocal Co-Evolution for Multimodal Graph Learning), a new learning paradigm that tightly couples graph structure learning and multimodal representation learning through end-to-end reciprocal interaction. Concretely, ReCoG integrates (i) a multimodal graph refiner that infers and corrects edges using cross-modal semantic evidence, and (ii) a coupled cross-modal message passing mechanism that performs joint intra- and inter-modality propagation over the refined graph. This unified design yields greater expressiveness than decoupled or two-stage formulations and allows dynamic interaction between topology and representation learning. Across diverse benchmarks for node classification and link prediction, ReCoG consistently outperforms strong multimodal graph structure learning baselines, including graph foundation models. Our results demonstrate that reciprocal co-evolution of structure and semantics is important for effective multimodal graph learning, challenging the prevailing separation between topology and representation learning.