Microstructures and Accuracy of Graph Recall by Large Language Models
作者: Yanbang Wang, Hejie Cui, Jon Kleinberg
分类: cs.LG, cs.CL, cs.IR, cs.SI
发布日期: 2024-02-19 (更新: 2024-10-31)
备注: Accepted at NeurIPS 2024; Code available at: https://github.com/Abel0828/llm-graph-recall
💡 一句话要点
系统研究大型语言模型的图回忆能力及其偏差特征
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 图回忆 结构偏差 自然语言处理 知识图谱
📋 核心要点
- 现有研究对大型语言模型在图回忆任务中的表现了解不足，尤其是其偏差特征与人类的比较。
- 本文通过系统性研究，探讨LLMs在图回忆中的准确性及其偏差微结构，揭示其结构性偏好。
- 研究发现，LLMs在图回忆中表现不佳，且对领域一致性有显著依赖，影响其推理能力。
📝 摘要（中文）
图数据在许多应用中至关重要，尤其是以文本格式描述的关系。大型语言模型（LLMs）在图回忆和编码方面的准确性是其进行图结构推理任务的基本能力。尽管认知科学家对人类图回忆的表现进行了研究，但我们对LLMs在类似任务中的表现知之甚少。本文首次系统性研究了LLMs的图回忆，发现其不仅在准确性上表现不佳，还倾向于偏好特定的结构模式，如三角形和交替2路径。此外，先进的LLMs在图的叙述风格与原始领域一致时，回忆准确性最佳。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在图回忆任务中的表现不足，尤其是其偏差特征与人类的比较。现有方法缺乏对LLMs在图回忆中的系统性研究，导致对其能力的理解不够全面。
核心思路：论文通过系统性实验，分析LLMs在图回忆中的准确性和偏差微结构，探讨其在不同领域叙述风格下的表现差异。这样的设计旨在揭示LLMs的潜在偏好和结构性偏差。
技术框架：研究采用实验设计，首先构建不同领域的图数据集，然后评估LLMs在这些数据集上的回忆准确性，最后分析其偏差特征。主要模块包括数据集构建、模型评估和偏差分析。
关键创新：本文的创新点在于首次系统性地研究LLMs在图回忆中的表现，揭示其偏好特定结构模式的倾向，尤其是三角形和交替2路径的偏好，这与人类的偏差特征相似。
关键设计：研究中设置了不同领域的图数据集，并采用了标准的评估指标来衡量回忆准确性，分析了模型在不同叙述风格下的表现差异，确保实验结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLMs在图回忆任务中的准确性普遍较低，且偏好三角形和交替2路径等特定结构。更先进的LLMs在与原始领域一致的叙述风格下表现最佳，回忆准确性显著提高，表明领域一致性对模型性能的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、知识图谱构建和社交网络分析等。通过深入理解LLMs在图回忆中的表现，可以为改进模型设计和提升推理能力提供指导，进而推动智能系统在复杂任务中的应用。
📄 摘要（原文）
Graphs data is crucial for many applications, and much of it exists in the relations described in textual format. As a result, being able to accurately recall and encode a graph described in earlier text is a basic yet pivotal ability that LLMs need to demonstrate if they are to perform reasoning tasks that involve graph-structured information. Human performance at graph recall has been studied by cognitive scientists for decades, and has been found to often exhibit certain structural patterns of bias that align with human handling of social relationships. To date, however, we know little about how LLMs behave in analogous graph recall tasks: do their recalled graphs also exhibit certain biased patterns, and if so, how do they compare with humans and affect other graph reasoning tasks? In this work, we perform the first systematical study of graph recall by LLMs, investigating the accuracy and biased microstructures (local structural patterns) in their recall. We find that LLMs not only underperform often in graph recall, but also tend to favor more triangles and alternating 2-paths. Moreover, we find that more advanced LLMs have a striking dependence on the domain that a real-world graph comes from -- by yielding the best recall accuracy when the graph is narrated in a language style consistent with its original domain.