LION: A Clifford Neural Paradigm for Multimodal-Attributed Graph Learning

📄 arXiv: 2608.24795v1 📥 PDF

作者: Xunkai Li, Zekai Chen, Zhengyu Wu, Henan Sun, Daohan Su, Guang Zeng, Hongchao Qin, Rong-Hua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-08-25

备注: 19 pages

💡 一句话要点

提出LION以解决多模态图学习中的对齐与融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图学习 Clifford代数 模态对齐 模态融合 图神经网络 数据表示 机器学习

📋 核心要点

  1. 现有方法在模态对齐中忽视了图的上下文，导致模态交互不足，影响对齐效果。
  2. LION通过Clifford代数构建模态感知几何流形，实现了多模态图的对齐与融合。
  3. 在9个文本-图像多属性图数据集上，LION在3个图任务和3个模态任务中显著超越了现有基线。

📝 摘要（中文）

近年来，多模态领域的快速发展推动了图机器学习的数据中心化范式转变，从文本属性图转向多模态属性图。这一进展显著增强了数据表示能力，拓展了图下游任务的范围，如面向模态的任务，从而提高了图机器学习的实际应用价值。然而，现有神经范式存在一些局限性：一是忽视模态对齐中的上下文，二是缺乏模态融合中的适应性。为了解决这些问题，本文提出了基于Clifford代数的LION（Clifford Neural Paradigm），通过构建模态感知几何流形实现多模态图中的对齐与融合。实验结果表明，LION在9个文本-图像多属性图数据集上显著超越了现有的最先进基线。

🔬 方法详解

问题定义：本文旨在解决多模态图学习中模态对齐和融合的不足。现有方法多采用拓扑约束或模态特定的操作符，忽视了图的上下文，导致模态交互不足，影响对齐效果。同时，现有方法对模态融合的适应性不足，无法充分利用对齐的标记，导致性能下降。

核心思路：LION的核心思路是基于Clifford代数构建模态感知几何流形，通过高阶图传播实现模态之间的有效交互，从而促进模态对齐。接着，利用对齐标记的拓扑信息，提出自适应全息聚合模块，以改进模态融合。

技术框架：LION的整体架构包括两个主要阶段：首先是模态对齐阶段，通过几何流形实现模态间的交互；其次是模态融合阶段，采用自适应全息聚合模块整合不同模态的信息。

关键创新：LION的主要创新在于引入Clifford代数进行模态对齐与融合，打破了传统方法的局限，能够更好地捕捉模态间的关系和上下文信息。

关键设计：在设计中，LION使用了基于Clifford代数的拓扑组件来增强对齐标记的表示能力，并通过可学习参数整合组件能量和传播尺度信息，以提高模态融合的效果。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在9个文本-图像多属性图数据集上的实验结果显示，LION在3个图任务和3个模态任务中均显著超越了最先进的基线，提升幅度达到XX%（具体数据待补充），验证了其在多模态图学习中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、医疗数据分析等多模态数据处理场景。通过提高多模态图学习的效果，LION能够为实际应用提供更准确的决策支持，推动相关领域的发展。

📄 摘要（原文）

Recently, the rapid advancement of multimodal domains has driven a data-centric paradigm shift in graph ML, transitioning from text-attributed to multimodal-attributed graphs. This advancement significantly enhances data representation and expands the scope of graph downstream tasks, such as modality-oriented tasks, thereby improving the practical utility of graph ML. Despite its promise, limitations exist in the current neural paradigms:(1) Neglect Context in Modality Alignment: Most existing methods adopt topology-constrained or modality-specific operators as tokenizers.These aligners inevitably neglect graph context and inhibit modality interaction, resulting in suboptimal alignment.(2) Lack of Adaptation in Modality Fusion: Most existing methods are simple adaptations for 2-modality graphs and fail to adequately exploit aligned tokens equipped with topology priors during fusion, leading to poor generalizability and performance degradation.To address the above issues, we propose LION (c\underline{LI}ff\underline{O}rd \underline{N}eural paradigm) based on the Clifford algebra and decoupled graph neural paradigm (i.e., propagation-then-aggregation) to implement alignment-then-fusion in multimodal-attributed graphs. Specifically, we first construct a modality-aware geometric manifold grounded in Clifford algebra.This geometric-induced high-order graph propagation efficiently achieves modality interaction, facilitating modality alignment.Then, based on the topology-aware Clifford components of aligned tokens, we propose adaptive holographic aggregation. This module integrates component-wise energy and propagation-scale information with learnable parameters to improve modality fusion. Extensive experiments on 9 text-image MAG datasets demonstrate that LION significantly outperforms SOTA baselines across 3 graph and 3 modality downstream tasks.