OAG-Bench: A Human-Curated Benchmark for Academic Graph Mining

📄 arXiv: 2402.15810v2 📥 PDF

作者: Fanjin Zhang, Shijie Shi, Yifan Zhu, Bo Chen, Yukuo Cen, Jifan Yu, Yelin Chen, Lulu Wang, Qingfei Zhao, Yuqing Cheng, Tianyi Han, Yuwei An, Dan Zhang, Weng Lam Tam, Kun Cao, Yunhe Pang, Xinyu Guan, Huihui Yuan, Jian Song, Xiaoyan Li, Yuxiao Dong, Jie Tang

分类: cs.DL, cs.CL, cs.LG

发布日期: 2024-02-24 (更新: 2024-06-20)

备注: KDD'24, 9 pages, 5 appendix pages

期刊: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '24), August 25--29, 2024, Barcelona, Spain

DOI: 10.1145/3637528.3672354

💡 一句话要点

提出OAG-Bench以解决学术图谱挖掘中的基准不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 学术图谱 数据挖掘 基准测试 开放学术图谱 多任务学习 算法评估 数据注释

📋 核心要点

  1. 现有的公共学术图谱和基准在多方面和细粒度注释上存在不足，限制了学术图谱挖掘的有效性。
  2. OAG-Bench通过引入新的数据注释策略和标准化评估协议，提供了一个全面的基准，涵盖多个任务和数据集。
  3. 实验结果显示，尽管使用了先进的算法，仍然在某些任务上面临挑战，强调了OAG-Bench的必要性和实用性。

📝 摘要（中文）

随着科学文献的快速增长，学术知识服务越来越依赖于全面的学术图谱挖掘。尽管已有公共学术图谱、基准和数据集，但这些资源在多方面和细粒度注释上往往不足，且受限于特定任务类型和领域，或缺乏真实的学术图谱。本文提出了OAG-Bench，这是一个基于开放学术图谱（OAG）的全面、多方面和细粒度的人为策划基准。OAG-Bench涵盖10个任务、20个数据集、70多个基线和120多个实验结果。我们为某些任务提出了新的数据注释策略，并提供了一套数据预处理代码、算法实现和标准化评估协议，以促进学术图谱挖掘。实验表明，即使是大型语言模型（LLMs）等先进算法在某些任务中也面临挑战，如论文来源追踪和学者画像。我们还引入了开放学术图谱挑战（OAG-Challenge），以鼓励社区的参与和共享。我们希望OAG-Bench能成为学术图谱挖掘领域评估和比较算法的共同基础，从而加速该领域的算法开发和进步。

🔬 方法详解

问题定义：本文旨在解决现有学术图谱挖掘基准不足的问题，尤其是在多方面和细粒度注释方面的缺失，导致算法评估和比较的困难。

核心思路：OAG-Bench通过整合开放学术图谱（OAG）数据，提供全面的任务覆盖和数据集，同时引入新的数据注释策略，以增强基准的实用性和有效性。

技术框架：OAG-Bench的整体架构包括数据收集、数据注释、任务定义、基线算法实现和评估协议。主要模块包括数据预处理、算法实现和结果评估，确保各个环节的标准化和可重复性。

关键创新：OAG-Bench的主要创新在于其多方面和细粒度的注释策略，以及对不同任务的全面覆盖，这与现有方法的单一任务或领域限制形成了鲜明对比。

关键设计：在参数设置上，OAG-Bench采用了标准化的评估指标和基线算法，确保实验结果的可比性。同时，提供了详细的算法实现代码，便于研究者进行复现和扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OAG-Bench在多个任务上提供了超过120个实验结果，揭示了即使是大型语言模型在论文来源追踪和学者画像等任务中也面临显著挑战。这一发现强调了OAG-Bench在推动学术图谱挖掘研究中的重要性。

🎯 应用场景

OAG-Bench在学术图谱挖掘领域具有广泛的应用潜力，能够为研究人员提供一个标准化的评估平台，促进算法的比较和改进。其设计的灵活性和全面性使其适用于多种学术研究和知识服务场景，未来可能推动相关领域的进一步发展和创新。

📄 摘要（原文）

With the rapid proliferation of scientific literature, versatile academic knowledge services increasingly rely on comprehensive academic graph mining. Despite the availability of public academic graphs, benchmarks, and datasets, these resources often fall short in multi-aspect and fine-grained annotations, are constrained to specific task types and domains, or lack underlying real academic graphs. In this paper, we present OAG-Bench, a comprehensive, multi-aspect, and fine-grained human-curated benchmark based on the Open Academic Graph (OAG). OAG-Bench covers 10 tasks, 20 datasets, 70+ baselines, and 120+ experimental results to date. We propose new data annotation strategies for certain tasks and offer a suite of data pre-processing codes, algorithm implementations, and standardized evaluation protocols to facilitate academic graph mining. Extensive experiments reveal that even advanced algorithms like large language models (LLMs) encounter difficulties in addressing key challenges in certain tasks, such as paper source tracing and scholar profiling. We also introduce the Open Academic Graph Challenge (OAG-Challenge) to encourage community input and sharing. We envisage that OAG-Bench can serve as a common ground for the community to evaluate and compare algorithms in academic graph mining, thereby accelerating algorithm development and advancement in this field. OAG-Bench is accessible at https://www.aminer.cn/data/.