Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network

📄 arXiv: 2402.11518v2 📥 PDF

作者: Lin Chen, Fengli Xu, Nian Li, Zhenyu Han, Meng Wang, Yong Li, Pan Hui

分类: cs.LG, cs.CL

发布日期: 2024-02-18 (更新: 2024-06-22)

DOI: 10.1145/3637528.3671965

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReStruct框架以解决异构信息网络中的元结构发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异构信息网络 元结构发现 大型语言模型 自动搜索算法 可解释性 推荐系统 节点分类

📋 核心要点

  1. 现有方法在异构信息网络中手工设计元结构面临扩展性和可理解性不足的挑战。
  2. 本文提出ReStruct框架，结合大型语言模型的推理能力，自动搜索元结构并优化其语义可解释性与经验性能。
  3. 在八个代表性HIN数据集上的实验表明，ReStruct在推荐和节点分类任务中表现优异，且生成的解释更易于理解。

📝 摘要（中文）

异构信息网络（HIN）近年来因其能够捕捉多种节点之间复杂关系而受到广泛关注。元结构作为识别HIN中重要模式的工具，然而手工设计的元结构在扩展性上面临挑战，因此自动搜索算法的开发引起了研究者的关注。现有方法主要关注于元结构的经验性能，忽视了人类可理解性和泛化能力的重要性。为了解决这一问题，本文提出了ReStruct框架，结合了大型语言模型（LLMs）的推理能力，通过语法翻译器将元结构编码为自然语言句子，并利用LLMs的推理能力评估其语义可行性。实验表明，ReStruct在推荐和节点分类任务中均取得了最先进的性能，并且其生成的解释更具可理解性。

🔬 方法详解

问题定义：本文旨在解决异构信息网络中元结构的自动发现问题，现有方法主要依赖手工设计，导致扩展性差和可理解性不足。

核心思路：ReStruct框架通过结合大型语言模型的推理能力，自动化地搜索元结构，并在此过程中优化其语义可解释性与经验性能。

技术框架：ReStruct的整体架构包括语法翻译器、LLM推理模块和性能导向的进化操作。语法翻译器将元结构编码为自然语言句子，LLM用于评估其语义可行性。

关键创新：ReStruct的核心创新在于将LLM的推理能力引入元结构搜索过程，使得生成的元结构不仅具有良好的经验性能，还具备较高的可理解性，这是与现有方法的本质区别。

关键设计：ReStruct中使用的语法翻译器和LLM推理模块是关键设计，确保了元结构的语义可解释性。此外，进化操作的设计也关注性能优化，确保搜索过程的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个代表性HIN数据集上的实验结果显示，ReStruct在推荐和节点分类任务中均达到了最先进的性能，相较于基线方法提升幅度显著。此外，73名研究生参与的调查研究表明，ReStruct生成的元结构及其解释在可理解性上有显著提高。

🎯 应用场景

该研究的潜在应用场景包括社交网络分析、推荐系统和知识图谱构建等领域。通过自动化发现可解释的元结构，能够帮助研究人员和工程师更好地理解复杂网络中的关系，提升系统的智能化水平。未来，该方法有望在多种异构数据环境中得到广泛应用，推动相关领域的发展。

📄 摘要（原文）

Heterogeneous information networks (HIN) have gained increasing popularity in recent years for capturing complex relations between diverse types of nodes. Meta-structures are proposed as a useful tool to identify the important patterns in HINs, but hand-crafted meta-structures pose significant challenges for scaling up, drawing wide research attention towards developing automatic search algorithms. Previous efforts primarily focused on searching for meta-structures with good empirical performance, overlooking the importance of human comprehensibility and generalizability. To address this challenge, we draw inspiration from the emergent reasoning abilities of large language models (LLMs). We propose ReStruct, a meta-structure search framework that integrates LLM reasoning into the evolutionary procedure. ReStruct uses a grammar translator to encode the meta-structures into natural language sentences, and leverages the reasoning power of LLMs to evaluate their semantic feasibility. Besides, ReStruct also employs performance-oriented evolutionary operations. These two competing forces allow ReStruct to jointly optimize the semantic explainability and empirical performance of meta-structures. Furthermore, ReStruct contains a differential LLM explainer to generate and refine natural language explanations for the discovered meta-structures by reasoning through the search history. Experiments on eight representative HIN datasets demonstrate that ReStruct achieves state-of-the-art performance in both recommendation and node classification tasks. Moreover, a survey study involving 73 graduate students shows that the discovered meta-structures and generated explanations by ReStruct are substantially more comprehensible. Our code and questionnaire are available at https://github.com/LinChen-65/ReStruct.