Efficient Tuning and Inference for Large Language Models on Textual Graphs

📄 arXiv: 2401.15569v2 📥 PDF

作者: Yun Zhu, Yaoke Wang, Haizhou Shi, Siliang Tang

分类: cs.CL

发布日期: 2024-01-28 (更新: 2024-07-24)

备注: Accepted by IJCAI2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ENGINE以高效调优和推理大型语言模型于文本图

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本图 大型语言模型 图神经网络 高效调优 动态提前退出 缓存机制 机器学习

📋 核心要点

  1. 现有方法通常采用浅层文本编码器和图神经网络，效率低下，难以满足实际应用需求。
  2. 本文提出ENGINE，通过结合大型语言模型和图神经网络，采用可调侧结构来降低训练复杂度。
  3. 实验结果显示，ENGINE在文本图任务中性能最佳，训练成本最低，且引入的变体显著提升了训练和推理速度。

📝 摘要（中文）

文本图在网页、电商和学术文章等实际应用中需要建模丰富的文本和拓扑信息。传统方法通常采用浅层文本编码器和后续的图神经网络（GNN），但效率问题显著。本文提出ENGINE，一种参数和内存高效的调优方法，结合大型语言模型（LLM）和GNN，通过可调侧结构显著降低训练复杂度，同时保持模型能力。实验表明，ENGINE在文本图任务中表现最佳，且训练成本最低。此外，提出的缓存和动态提前退出变体进一步提升了训练和推理速度，缓存加速训练12倍，动态提前退出实现推理速度提升5倍，性能下降极小（最大1.17%）。

🔬 方法详解

问题定义：本文旨在解决文本图建模中的效率问题，现有方法依赖于浅层文本编码器和图神经网络，导致训练复杂度高、性能不足。

核心思路：提出ENGINE，通过结合大型语言模型（LLM）和图神经网络（GNN），利用可调侧结构来降低训练复杂度，同时保持模型的表达能力。

技术框架：ENGINE的整体架构包括LLM编码器和GNN模块，采用可调侧结构连接两者，此外引入缓存机制和动态提前退出策略以提升效率。

关键创新：ENGINE的主要创新在于通过可调侧结构有效结合LLM和GNN，显著降低训练复杂度，且在性能上优于传统方法。

关键设计：在参数设置上，ENGINE优化了LLM的调优策略，损失函数设计上考虑了文本图的特性，网络结构上则通过侧结构连接LLM和GNN以实现高效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ENGINE在文本图任务中实现了最佳模型性能，同时训练成本最低。引入的缓存机制使训练速度提升12倍，动态提前退出策略使推理速度提升5倍，且性能下降不超过1.17%。

🎯 应用场景

该研究的潜在应用领域包括网页内容分析、电商推荐系统和学术文献检索等。通过高效建模文本图，ENGINE能够在实际应用中提供更快速和准确的信息处理能力，未来可能推动相关领域的技术进步和应用普及。

📄 摘要（原文）

Rich textual and topological information of textual graphs need to be modeled in real-world applications such as webpages, e-commerce, and academic articles. Practitioners have been long following the path of adopting a shallow text encoder and a subsequent graph neural network (GNN) to solve this problem. In light of recent advancements in large language models (LLMs), it is apparent that integrating LLMs for enhanced textual encoding can substantially improve the performance of textual graphs. Nevertheless, the efficiency of these methods poses a significant challenge. In this paper, we propose ENGINE, a parameter- and memory-efficient fine-tuning method for textual graphs with an LLM encoder. The key insight is to combine the LLMs and GNNs through a tunable side structure, which significantly reduces the training complexity without impairing the joint model's capacity. Extensive experiments on textual graphs demonstrate our method's effectiveness by achieving the best model performance, meanwhile having the lowest training cost compared to previous methods. Moreover, we introduce two variants with caching and dynamic early exit to further enhance training and inference speed. Specifically, caching accelerates ENGINE's training by 12x, and dynamic early exit achieves up to 5x faster inference with a negligible performance drop (at maximum 1.17% relevant drop across 7 datasets). Our codes are available at: https://github.com/ZhuYun97/ENGINE