Large Language Models Fall Short: Understanding Complex Relationships in Detective Narratives

📄 arXiv: 2402.11051v1 📥 PDF

作者: Runcong Zhao, Qinglin Zhu, Hainiu Xu, Jiazheng Li, Yuxiang Zhou, Yulan He, Lin Gui

分类: cs.CL, cs.AI

发布日期: 2024-02-16

💡 一句话要点

提出Conan基准以解决侦探叙事中的复杂关系理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 叙事理解 角色关系 大型语言模型 数据集构建 社交动态

📋 核心要点

  1. 现有叙事理解方法在处理复杂社交关系时存在不足，无法准确捕捉角色间的多层次关系。
  2. 本文提出了Conan基准，通过分层关系类别和角色导向的手动标注，增强了对复杂角色关系的理解。
  3. 实验结果表明，当前大型语言模型在推理复杂关系和处理长文本方面存在显著局限性，Conan数据集为此提供了新的评估标准。

📝 摘要（中文）

现有的叙事理解数据集往往无法充分代表现实社交场景中关系的复杂性和不确定性。为了解决这一问题，本文引入了一个新的基准Conan，旨在从侦探叙事中提取和分析复杂的角色关系图。我们设计了分层关系类别，并从不同角色的视角手动提取和标注了以角色为导向的关系，涵盖了大多数角色所知的公共关系和仅少数角色所知的秘密关系。通过对先进的大型语言模型（如GPT-3.5、GPT-4和Llama2）的实验，我们揭示了它们在推理复杂关系和处理较长叙事方面的局限性。Conan数据集与我们的流程策略结合，旨在理解大型语言模型在叙事背景下理解细微关系动态的能力。

🔬 方法详解

问题定义：本文旨在解决现有叙事理解数据集无法有效表示复杂社交关系的问题，尤其是在侦探叙事中，角色间的关系往往具有多层次和不确定性。

核心思路：我们提出了Conan基准，通过设计分层的关系类别，手动提取和标注角色导向的关系，来增强对复杂关系的理解。此方法考虑了角色间的公共关系和秘密关系，提供了更全面的视角。

技术框架：整体流程包括数据集构建、角色关系提取和标注、以及与大型语言模型的实验评估。主要模块包括关系类别设计、角色关系图构建和模型推理能力评估。

关键创新：最重要的创新在于引入了分层关系类别和角色导向的标注方法，这与现有方法的单一关系表示形成了鲜明对比，能够更好地捕捉复杂的社交动态。

关键设计：在数据标注过程中，我们设定了明确的标注标准，确保关系的多样性和复杂性。此外，实验中使用了多种大型语言模型，并对其推理能力进行了系统评估。通过对比不同模型的表现，揭示了其在处理复杂叙事时的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-3.5、GPT-4和Llama2在推理复杂角色关系时的表现均不尽如人意，尤其是在处理较长叙事文本时，推理准确率显著低于预期。这表明当前大型语言模型在理解复杂社交动态方面存在明显局限性，为未来的研究提供了重要的改进方向。

🎯 应用场景

该研究的潜在应用领域包括文学分析、社交网络分析和人机交互等。通过提供一个更为精细化的角色关系理解框架，Conan基准可以帮助研究者和开发者在复杂叙事场景中更好地理解和应用角色关系，从而推动相关领域的进步。

📄 摘要（原文）

Existing datasets for narrative understanding often fail to represent the complexity and uncertainty of relationships in real-life social scenarios. To address this gap, we introduce a new benchmark, Conan, designed for extracting and analysing intricate character relation graphs from detective narratives. Specifically, we designed hierarchical relationship categories and manually extracted and annotated role-oriented relationships from the perspectives of various characters, incorporating both public relationships known to most characters and secret ones known to only a few. Our experiments with advanced Large Language Models (LLMs) like GPT-3.5, GPT-4, and Llama2 reveal their limitations in inferencing complex relationships and handling longer narratives. The combination of the Conan dataset and our pipeline strategy is geared towards understanding the ability of LLMs to comprehend nuanced relational dynamics in narrative contexts.