Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning

📄 arXiv: 2402.10409v1 📥 PDF

作者: Jun Zhuang, Casey Kennington

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2024-02-16

备注: TL;DR: We collected metadata about LLM surveys and developed a method for categorizing them into a taxonomy, indicating the superiority of graph representation learning over language models and revealing the efficacy of fine-tuning using weak labels

💡 一句话要点

提出基于图表示学习的分类方法以优化LLM调查论文归类

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 调查论文 图表示学习 自动分类 弱标签 微调 共类别图

📋 核心要点

  1. 现有的调查论文数量庞大，研究者难以快速跟进最新的LLM研究和模型，导致信息过载。
  2. 本文提出了一种基于图结构信息的自动分类方法，通过分析共类别图来优化调查论文的归类过程。
  3. 实验结果显示，所提方法在分类精度上超越了人类平均识别水平，并且在微调过程中使用弱标签的效果优于使用真实标签。

📝 摘要（中文）

随着大型语言模型（LLMs）研究的不断发展，研究者们面临着大量新论文的挑战。为帮助研究者梳理新研究，许多人撰写了调查论文，但数量也在不断增加。本文提出了一种自动将调查论文分配到分类法的方法。我们收集了144篇LLM调查论文的元数据，并探索了三种分类范式。研究表明，利用共类别图的图结构信息在两个范式中显著优于语言模型，发现使用小模型生成的弱标签进行LLMs的微调比使用真实标签更有效，揭示了在分类任务中弱到强的泛化潜力。

🔬 方法详解

问题定义：本文旨在解决如何有效地将大量LLM调查论文进行分类的问题。现有方法在处理海量信息时面临效率低下和准确性不足的挑战。

核心思路：提出利用图表示学习的方式，通过分析共类别图的结构信息来进行自动分类，旨在提升分类的准确性和效率。

技术框架：整体架构包括数据收集、图结构构建、分类模型训练和评估四个主要模块。首先收集144篇调查论文的元数据，然后构建共类别图，最后训练分类模型并进行效果评估。

关键创新：最重要的创新在于利用图结构信息进行分类，相较于传统的语言模型方法，能够显著提高分类性能，尤其是在微调和零-shot分类任务中。

关键设计：在模型设计中，采用了图卷积网络（GCN）作为基础模型，并通过弱标签进行微调，设置了适当的损失函数以优化分类效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在分类任务中超越了人类平均识别水平，尤其是在微调过程中，使用弱标签生成的效果比使用真实标签更为显著，提升幅度达到XX%。这一发现为弱到强的泛化提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括学术研究、文献管理和信息检索等。通过自动化的论文分类，研究者可以更高效地获取相关文献，提升研究效率。此外，该方法也可扩展至其他领域的文献分类任务，具有广泛的实际价值和影响力。

📄 摘要（原文）

As new research on Large Language Models (LLMs) continues, it is difficult to keep up with new research and models. To help researchers synthesize the new research many have written survey papers, but even those have become numerous. In this paper, we develop a method to automatically assign survey papers to a taxonomy. We collect the metadata of 144 LLM survey papers and explore three paradigms to classify papers within the taxonomy. Our work indicates that leveraging graph structure information on co-category graphs can significantly outperform the language models in two paradigms; pre-trained language models' fine-tuning and zero-shot/few-shot classifications using LLMs. We find that our model surpasses an average human recognition level and that fine-tuning LLMs using weak labels generated by a smaller model, such as the GCN in this study, can be more effective than using ground-truth labels, revealing the potential of weak-to-strong generalization in the taxonomy classification task.