GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism

📄 arXiv: 2404.06911v1 📥 PDF

作者: Shuzhou Yuan, Michael Färber

分类: cs.CL

发布日期: 2024-04-10

备注: NAACL 2024 Findings

💡 一句话要点

提出GraSAME以解决图结构与文本间的桥接问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图结构 预训练语言模型 自注意力机制 多模态学习 图神经网络

📋 核心要点

  1. 现有方法在将图结构与文本结合时存在模态差距，传统线性化方法丢失了图的连接性。
  2. GraSAME通过图引导自注意力机制，将令牌级结构信息无缝融入PLMs，简化了集成过程。
  3. 实验结果显示，GraSAME在图到文本生成任务中表现优异，超越基线模型并减少了超过1亿的可训练参数。

📝 摘要（中文）

预训练语言模型（PLMs）在各种下游任务中受益于存储在图结构中的外部知识。然而，图结构与文本之间的模态差距仍然是一个重大挑战。传统方法通过线性化图形来适应PLMs，但会丢失重要的图连接性，而图神经网络（GNNs）在与PLMs集成时则需要繁琐的过程。本文提出了一种新颖的图引导自注意力机制GraSAME，能够无缝地将令牌级结构信息融入PLMs，无需额外的对齐或连接工作。作为一个端到端的轻量级多模态模块，GraSAME遵循多任务学习策略，有效地弥合了图和文本模态之间的差距，促进了GNNs与PLMs之间的动态交互。实验结果表明，GraSAME在图到文本生成任务中超越了基线模型，并在WebNLG数据集上达到了与最先进模型相当的结果。

🔬 方法详解

问题定义：本文旨在解决图结构与文本之间的模态差距，现有方法如线性化图形会导致重要连接性丢失，而GNNs的集成过程繁琐。

核心思路：GraSAME通过图引导自注意力机制，直接将图的结构信息融入PLMs，避免了额外的对齐和连接步骤，从而实现更高效的多模态学习。

技术框架：GraSAME作为一个轻量级的多模态模块，采用多任务学习策略，包含图结构信息的自注意力机制和PLMs的动态交互模块，形成一个端到端的架构。

关键创新：GraSAME的主要创新在于其图引导自注意力机制，能够在不增加额外预训练任务的情况下，直接利用图结构信息，显著简化了模型的复杂性。

关键设计：在设计中，GraSAME优化了参数设置，减少了可训练参数的数量，并采用了适合多任务学习的损失函数，确保了模型在不同任务上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在图到文本生成任务中，GraSAME的实验结果显示其性能超越了多个基线模型，并在WebNLG数据集上达到了与最先进模型相当的效果。此外，GraSAME减少了超过1亿的可训练参数，显著提高了模型的效率。

🎯 应用场景

GraSAME的研究成果在多个领域具有潜在应用价值，包括自然语言处理、知识图谱生成和信息检索等。通过有效结合图结构与文本信息，该方法能够提升文本生成、问答系统和推荐系统的性能，推动多模态学习的发展。

📄 摘要（原文）

Pretrained Language Models (PLMs) benefit from external knowledge stored in graph structures for various downstream tasks. However, bridging the modality gap between graph structures and text remains a significant challenge. Traditional methods like linearizing graphs for PLMs lose vital graph connectivity, whereas Graph Neural Networks (GNNs) require cumbersome processes for integration into PLMs. In this work, we propose a novel graph-guided self-attention mechanism, GraSAME. GraSAME seamlessly incorporates token-level structural information into PLMs without necessitating additional alignment or concatenation efforts. As an end-to-end, lightweight multimodal module, GraSAME follows a multi-task learning strategy and effectively bridges the gap between graph and textual modalities, facilitating dynamic interactions between GNNs and PLMs. Our experiments on the graph-to-text generation task demonstrate that GraSAME outperforms baseline models and achieves results comparable to state-of-the-art (SOTA) models on WebNLG datasets. Furthermore, compared to SOTA models, GraSAME eliminates the need for extra pre-training tasks to adjust graph inputs and reduces the number of trainable parameters by over 100 million.