Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs

📄 arXiv: 2606.14172v1 📥 PDF

作者: Sirui Zhang, Xu Wang, Zhengyu Wu, Xunkai Li, Hongchao Qin

分类: cs.LG, cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出CoMAG以解决多模态属性图的任务适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态属性图 任务适应性 模态对齐 图结构分析 跨模态匹配

📋 核心要点

  1. 现有多模态属性图方法依赖固定上下文或统一表示，导致任务适应性差和模态信息丢失。
  2. 提出CoMAG，通过学习任务自适应的上下文和模态保留对齐，解决多模态图任务的挑战。
  3. 在九个OpenMAG数据集上，CoMAG在图级预测、模态匹配和图条件生成任务中均取得最佳性能。

📝 摘要（中文）

多模态属性图（MAGs）通过将图拓扑与文本、图像等异构属性结合来建模现实世界实体，支持结构性和类区分性表示的图中心任务以及需要细粒度跨模态对应的模态中心任务。然而，现有MAG方法往往依赖固定的图上下文或统一融合的表示，导致任务无关的传播和过度压缩的融合，阻碍了多样化任务需求和模态特定证据的保留。为此，本文提出了CoMAG，一个统一的MAG骨干网络，能够学习任务自适应的可靠上下文和模态保留对齐。CoMAG通过多模态语义一致性估计边缘可靠性，补充原始拓扑与语义邻居，并通过任务感知门选择上下文组件，从而进行可靠上下文学习。接着，CoMAG通过保持模态特定的多跳轨迹，跨模态匹配模态跳标记，并解耦共享和私有表示，进行模态保留的Hop-token对齐。实验结果表明，CoMAG在九个OpenMAG数据集上表现优异，证明了其在结构预测、跨模态匹配和图条件生成中的有效性。

🔬 方法详解

问题定义：本文旨在解决现有多模态属性图（MAGs）方法在任务适应性和模态信息保留方面的不足，现有方法往往导致信息压缩和上下文固定，影响任务效果。

核心思路：CoMAG通过学习任务自适应的可靠上下文和模态保留对齐，旨在提高多模态图的表现力和适应性，确保不同任务需求得到满足。

技术框架：CoMAG的整体架构包括两个主要模块：可靠上下文学习和模态保留Hop-token对齐。前者通过多模态语义一致性估计边缘可靠性，后者通过跨模态匹配和解耦表示来实现模态特定的对齐。

关键创新：CoMAG的核心创新在于其任务自适应的上下文学习和模态保留对齐机制，这与现有方法的固定上下文和统一表示形成鲜明对比，显著提升了模型的灵活性和表现。

关键设计：在设计上，CoMAG采用了任务感知门来选择上下文组件，并保持模态特定的多跳轨迹，确保模态信息的完整性和有效性，同时在损失函数和网络结构上进行了优化，以适应不同任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在九个OpenMAG数据集上的实验结果显示，CoMAG在图级预测、模态匹配和图条件生成任务中均超越了现有的特征仅、图仅、多模态和统一MAG基线，取得了最佳性能，验证了其有效性和优越性。

🎯 应用场景

该研究在多模态学习、社交网络分析、推荐系统等领域具有广泛的应用潜力。通过提升多模态属性图的任务适应性，CoMAG能够更好地支持复杂的图结构分析和跨模态信息检索，推动相关领域的发展。

📄 摘要（原文）

Multimodal Attributed Graphs (MAGs) model real-world entities by coupling graph topology with heterogeneous attributes such as text and images. They support graph-centric tasks requiring structural and class-discriminative representations, and modality-centric tasks requiring fine-grained cross-modal correspondence. However, existing MAG methods often rely on fixed graph contexts or uniformly fused representations, causing task-agnostic propagation and over-compressed fusion that hinder diverse task requirements and modality-specific evidence preservation. To address this, we propose CoMAG, a unified MAG backbone that learns task-adaptive reliable contexts and modality-preserving alignment within them. CoMAG first conducts Reliable Context Learning by estimating edge reliability from multimodal semantic consistency, complementing raw topology with semantic neighbors, and selecting context components through a task-aware gate. It then performs Modality-preserving Hop-token Alignment by maintaining modality-specific multi-hop trajectories, matching modality-hop tokens across modalities, and decoupling shared and private representations. Thus, CoMAG produces graph and modality representations from one forward pass while retaining modality-specific cues. We further analyze stable propagation, over-smoothing mitigation, and modality-collapse control. Experiments on nine OpenMAG datasets compare CoMAG with feature-only, graph-only, multimodal, and unified MAG baselines across graph-level prediction, modality matching, and graph-conditioned generation. Results show that CoMAG achieves the best reported performance, demonstrating that task-adaptive reliable contexts and modality-preserving alignment improve structural prediction, cross-modal matching, and graph-conditioned generation while retaining sparse edge-linear complexity.