TaLK: Text-attributed Graph Dataset Distillation via Coupling Language Model with Graph-Aware Kernel

📄 arXiv: 2606.22975v1 📥 PDF

作者: Yeongho Kim, Yeonje Choi, Kijung Shin

分类: cs.LG

发布日期: 2026-06-22

💡 一句话要点

提出TaLK以解决文本属性图数据蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本属性图 数据集蒸馏 图神经网络 语言模型 高效学习 多模态融合

📋 核心要点

  1. 现有方法在处理文本属性图时，联合训练语言模型和图神经网络计算成本高且难以扩展。
  2. 本文提出TaLK，通过结合语言模型与图感知神经切线核，实现高效的数据集蒸馏，避免重复训练。
  3. 实验表明，TaLK在多个基准测试中超越现有基线，仅用1%合成数据即可达到97%的全数据集性能。

📝 摘要（中文）

文本属性图（TAGs）在多个实际领域中被广泛应用，学习TAGs需要同时建模文本语义和图结构。传统方法通常将语言模型（LM）与图神经网络（GNN）结合，但联合训练计算成本高且难以扩展。数据集蒸馏是一种降低训练成本的有效方法，但现有方法通常针对单一模态设计，或仍需在全数据集上反复训练昂贵的LM-GNN模型。为此，本文提出了TaLK，一种有效的TAG数据集蒸馏方法，通过将LM与图感知神经切线核结合，避免了对全数据集的重复联合训练，同时有效反映文本和结构信息。实验结果表明，TaLK在多个TAG基准测试中表现优异，仅用1%的合成数据便可达到全数据集性能的97%。

🔬 方法详解

问题定义：本文旨在解决文本属性图（TAGs）学习中的高计算成本和扩展性问题。现有方法通常需要联合训练语言模型（LM）和图神经网络（GNN），导致训练效率低下。

核心思路：TaLK的核心思路是将语言模型与图感知神经切线核结合，利用这一设计实现高效的数据集蒸馏，避免对全数据集的重复联合训练，同时保留文本和结构信息。

技术框架：TaLK的整体架构包括两个主要模块：语言模型模块和图感知神经切线核模块。语言模型负责处理文本信息，而图感知模块则关注图结构信息，二者协同工作以实现高效的学习。

关键创新：TaLK的主要创新在于将语言模型与图感知神经切线核有效结合，突破了传统方法的局限，避免了高昂的计算成本，并实现了更高效的数据蒸馏。

关键设计：在设计中，TaLK采用了特定的损失函数以平衡文本和图结构信息的学习，同时在网络结构上进行了优化，以提高模型的学习效率和效果。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，TaLK在多个文本属性图基准测试中表现优异，相比现有基线，性能提升显著。具体而言，TaLK仅使用1%的合成数据便可达到全数据集性能的97%，展现了其在数据效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、知识图谱构建等。通过高效的数据集蒸馏，TaLK能够在资源有限的情况下，快速构建高性能的模型，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Text-attributed graphs (TAGs) are widely used in many real-world domains, and learning on TAGs requires jointly modeling text semantics and graph structure. A standard approach for modeling TAGs is to combine a language model (LM) and a graph neural network (GNN), but joint training is computationally expensive and difficult to scale. Dataset distillation is a promising way to reduce training costs, but existing methods are not well suited to TAGs because they are typically designed for a single modality or still require repeatedly training expensive LM-GNN models on the full dataset during distillation. To address this, we propose TaLK, an effective dataset distillation method for TAGs that couples an LM with a graph-aware neural tangent kernel.This design enables efficient dataset distillation, avoiding repeated joint training on the full dataset while reflecting both textual and structural information for effective TAG learning.Experiments on multiple TAG benchmarks show that TaLK consistently outperforms existing baselines and achieves up to 97% of full-dataset performance with only 1% synthetic data.