Exploring the Potential of Large Language Models in Graph Generation

📄 arXiv: 2403.14358v1 📥 PDF

作者: Yang Yao, Xin Wang, Zeyang Zhang, Yijian Qin, Ziwei Zhang, Xu Chu, Yuekui Yang, Wenwu Zhu, Hong Mei

分类: cs.LG, cs.AI, q-bio.BM

发布日期: 2024-03-21

💡 一句话要点

提出LLM4GraphGen以探索大语言模型在图生成中的潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 图生成 药物发现 结构规则 领域知识 性能评估 生成模型

📋 核心要点

  1. 现有研究主要集中在LLM在图分类等任务中的应用，缺乏对其在图生成方面能力的探索。
  2. 本文提出LLM4GraphGen，通过系统的任务设计，探索LLM在生成具有特定属性的图方面的能力。
  3. 实验结果显示，GPT-4在图生成任务中表现出初步能力，但常用的提示方法未必能提升性能。

📝 摘要（中文）

大语言模型（LLMs）在多个领域取得了显著成功，然而其在图生成方面的能力尚未被充分探索。图生成要求LLM生成具有特定属性的图，这在药物发现等实际应用中具有重要价值，但也更具挑战性。本文提出LLM4GraphGen，通过系统的任务设计和广泛的实验，探讨LLM在图生成中的能力。我们设计了多个任务，并进行了全面的实验，以解决LLM对不同图结构规则的理解、捕捉结构类型分布的能力以及基于属性的图生成中领域知识的利用等关键问题。评估结果表明，LLM，尤其是GPT-4，在图生成任务中展现出初步能力，包括基于规则和基于分布的生成。同时，我们观察到流行的提示方法，如少量示例和思维链提示，并未始终提升性能。此外，LLM在生成具有特定属性的分子方面显示出潜力。这些发现为设计良好的LLM模型用于图生成奠定了基础，并提供了有价值的见解和进一步研究的方向。

🔬 方法详解

问题定义：本文旨在解决大语言模型在图生成任务中的应用问题，现有方法在生成具有特定属性的图时面临挑战，缺乏系统性研究。

核心思路：提出LLM4GraphGen，通过设计多种任务来评估LLM对图结构规则的理解及其生成能力，旨在揭示LLM在图生成中的潜力。

技术框架：整体框架包括任务设计、模型训练和性能评估三个主要模块。任务设计涵盖了规则生成和分布生成等多种任务，模型训练采用GPT-4进行实验，评估则通过对比不同提示方法的效果。

关键创新：最重要的创新在于系统性地设计了多种任务来评估LLM在图生成中的能力，尤其是对结构规则和领域知识的理解，与现有方法相比，提供了更全面的评估视角。

关键设计：在实验中，采用了不同的提示方法，如少量示例和思维链提示，评估其对生成性能的影响，同时关注模型在生成特定属性分子时的表现。具体参数设置和损失函数的选择也进行了详细探讨。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4在图生成任务中展现出初步能力，尤其在规则生成和分布生成方面。尽管常用的提示方法如少量示例和思维链提示未能一致性提升性能，但LLM在生成具有特定属性的分子方面显示出良好潜力，为后续研究提供了重要基础。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和网络分析等，能够为生成具有特定属性的图提供有效工具，具有重要的实际价值。未来，LLM在图生成中的应用可能会推动相关领域的研究进展，促进新材料和新药物的开发。

📄 摘要（原文）

Large language models (LLMs) have achieved great success in many fields, and recent works have studied exploring LLMs for graph discriminative tasks such as node classification. However, the abilities of LLMs for graph generation remain unexplored in the literature. Graph generation requires the LLM to generate graphs with given properties, which has valuable real-world applications such as drug discovery, while tends to be more challenging. In this paper, we propose LLM4GraphGen to explore the ability of LLMs for graph generation with systematical task designs and extensive experiments. Specifically, we propose several tasks tailored with comprehensive experiments to address key questions regarding LLMs' understanding of different graph structure rules, their ability to capture structural type distributions, and their utilization of domain knowledge for property-based graph generation. Our evaluations demonstrate that LLMs, particularly GPT-4, exhibit preliminary abilities in graph generation tasks, including rule-based and distribution-based generation. We also observe that popular prompting methods, such as few-shot and chain-of-thought prompting, do not consistently enhance performance. Besides, LLMs show potential in generating molecules with specific properties. These findings may serve as foundations for designing good LLMs based models for graph generation and provide valuable insights and further research.