GNNavi: Navigating the Information Flow in Large Language Models by Graph Neural Network

📄 arXiv: 2402.11709v2 📥 PDF

作者: Shuzhou Yuan, Ercong Nie, Michael Färber, Helmut Schmid, Hinrich Schütze

分类: cs.CL, cs.AI

发布日期: 2024-02-18 (更新: 2024-06-07)

备注: ACL2024 Findings

💡 一句话要点

提出GNNavi以解决大语言模型信息流导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 信息流 参数高效微调 上下文学习 文本分类 大型语言模型 计算资源优化

📋 核心要点

  1. 现有的基于提示的微调方法在计算资源上需求高，限制了其在低数据场景中的应用。
  2. GNNavi通过图神经网络引导信息流的聚合与分配，优化了提示的处理过程，提升了微调效率。
  3. 实验结果显示，GNNavi在文本分类任务中超越了传统微调方法，参数更新量仅为0.2%至0.5%。

📝 摘要（中文）

大型语言模型（LLMs）在使用示例的提示时展现出强大的上下文学习能力。然而，微调仍然是提升其适应性的关键。基于提示的微调在低数据场景中有效，但对计算资源的高需求限制了其实用性。为此，本文提出了一种基于提示的参数高效微调（PEFT）方法GNNavi，利用信息流动态的洞察，表明标签词在提示中作为信息传播的锚点。GNNavi通过图神经网络（GNN）层精确引导信息流的聚合与分配，实验表明其在少量样本设置下超越了标准的基于提示的微调方法，仅更新0.2%到0.5%的参数。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在微调时对计算资源的高需求问题，现有的基于提示的微调方法在低数据场景中效率低下。

核心思路：GNNavi的核心思想是利用图神经网络（GNN）来优化信息流的聚合与分配，通过硬连线所需的信息流来提升微调的效率。

技术框架：GNNavi的整体架构包括输入提示的处理、信息流的引导与聚合、以及最终的模型参数更新。主要模块包括GNN层和信息流控制机制。

关键创新：GNNavi的最大创新在于通过GNN层硬连线信息流，确保信息在提示处理过程中的有效传播，这与传统的微调方法有本质区别。

关键设计：在设计中，GNNavi仅更新0.2%到0.5%的模型参数，采用特定的损失函数以优化信息流的聚合过程，确保高效的微调效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GNNavi在文本分类任务中表现优异，相较于传统的基于提示的微调方法，其性能提升显著，仅需更新0.2%至0.5%的参数，展现出极高的效率和有效性。

🎯 应用场景

GNNavi的研究成果在文本分类、自然语言处理等领域具有广泛的应用潜力。通过降低微调所需的计算资源，GNNavi能够使得大型语言模型在资源受限的环境中更为高效地应用，推动其在实际场景中的落地与普及。

📄 摘要（原文）

Large Language Models (LLMs) exhibit strong In-Context Learning (ICL) capabilities when prompts with demonstrations are used. However, fine-tuning still remains crucial to further enhance their adaptability. Prompt-based fine-tuning proves to be an effective fine-tuning method in low-data scenarios, but high demands on computing resources limit its practicality. We address this issue by introducing a prompt-based parameter-efficient fine-tuning (PEFT) approach. GNNavi leverages insights into ICL's information flow dynamics, which indicates that label words act in prompts as anchors for information propagation. GNNavi employs a Graph Neural Network (GNN) layer to precisely guide the aggregation and distribution of information flow during the processing of prompts by hardwiring the desired information flow into the GNN. Our experiments on text classification tasks with GPT-2 and Llama2 show GNNavi surpasses standard prompt-based fine-tuning methods in few-shot settings by updating just 0.2% to 0.5% of parameters. We compare GNNavi with prevalent PEFT approaches, such as prefix tuning, LoRA and Adapter in terms of performance and efficiency. Our analysis reveals that GNNavi enhances information flow and ensures a clear aggregation process.