Are Large Language Models Temporally Grounded?

📄 arXiv: 2311.08398v2 📥 PDF

作者: Yifu Qiu, Zheng Zhao, Yftah Ziser, Anna Korhonen, Edoardo M. Ponti, Shay B. Cohen

分类: cs.CL, cs.AI

发布日期: 2023-11-14 (更新: 2023-11-16)

🔗 代码/项目: GITHUB

💡 一句话要点

探讨大型语言模型的时间基础性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 时间理解 事件排序 自我一致性 自然语言处理

📋 核心要点

  1. 核心问题：现有大型语言模型在时间理解和事件排序方面存在显著不足，尤其在自我一致性上表现不佳。
  2. 方法要点：通过提供文本叙述，评估LLMs在事件结构、持续时间及时间排序能力的表现，揭示其时间模型的缺陷。
  3. 实验或效果：评估结果显示，LLMs在时间相关任务上落后于人类和小规模模型，且模型规模的扩大未能提升性能。

📝 摘要（中文）

本文探讨大型语言模型（LLMs）是否具备时间基础性。由于LLMs无法直接感知和与环境互动，因此无法直接回答这一问题。研究通过提供文本叙述，考察LLMs在事件结构和持续时间的常识知识、事件时间排序能力及自我一致性方面的表现。对当前最先进的LLMs（如LLaMA 2和GPT-4）进行评估，发现其在这些任务上显著落后于人类和小规模专业模型。尽管采用了上下文学习、指令调优和思维链提示等方法，仍未能显著缩小这一差距，尤其在自我一致性方面表现不佳，预测中至少有27.23%的不一致性。此外，模型规模的扩大并未必带来性能提升。研究还发现，LLMs在无标签文本中的句子排序与事件排序之间的相关性较弱，且公共指令调优混合中包含的时间任务较少，因此得出当前LLMs缺乏一致的文本叙述时间模型的结论。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在时间基础性方面的不足，特别是它们在事件排序和自我一致性方面的表现不佳。现有方法未能有效评估LLMs的时间理解能力。

核心思路：研究通过提供文本叙述，考察LLMs对事件的结构、持续时间及时间关系的理解，揭示其在时间模型上的缺陷。

技术框架：整体架构包括三个主要任务：事件结构和持续时间的常识知识评估、事件时间排序能力评估及自我一致性检验。通过这些任务，全面评估LLMs的时间理解能力。

关键创新：最重要的创新在于系统性地评估LLMs在时间理解方面的表现，尤其是自我一致性问题，揭示了模型规模扩大并不一定带来性能提升的现象。

关键设计：在实验中，采用了多种评估指标来衡量模型的时间理解能力，特别关注自我一致性，并分析了无标签文本中的句子排序与事件排序的相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在时间相关任务上的表现显著低于人类和小规模专业模型，尤其在自我一致性方面，至少有27.23%的预测存在不一致性。此外，模型规模的扩大并未带来预期的性能提升，揭示了当前LLMs在时间理解上的根本性缺陷。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手、自动摘要生成等。通过提升LLMs的时间理解能力，可以增强其在复杂任务中的表现，提升用户体验和交互质量，未来可能推动更智能的对话系统和信息检索技术的发展。

📄 摘要（原文）

Are Large language models (LLMs) temporally grounded? Since LLMs cannot perceive and interact with the environment, it is impossible to answer this question directly. Instead, we provide LLMs with textual narratives and probe them with respect to their common-sense knowledge of the structure and duration of events, their ability to order events along a timeline, and self-consistency within their temporal model (e.g., temporal relations such as after and before are mutually exclusive for any pair of events). We evaluate state-of-the-art LLMs (such as LLaMA 2 and GPT-4) on three tasks reflecting these abilities. Generally, we find that LLMs lag significantly behind both human performance as well as small-scale, specialised LMs. In-context learning, instruction tuning, and chain-of-thought prompting reduce this gap only to a limited degree. Crucially, LLMs struggle the most with self-consistency, displaying incoherent behaviour in at least 27.23% of their predictions. Contrary to expectations, we also find that scaling the model size does not guarantee positive gains in performance. To explain these results, we study the sources from which LLMs may gather temporal information: we find that sentence ordering in unlabelled texts, available during pre-training, is only weakly correlated with event ordering. Moreover, public instruction tuning mixtures contain few temporal tasks. Hence, we conclude that current LLMs lack a consistent temporal model of textual narratives. Code, datasets, and LLM outputs are available at https://github.com/yfqiu-nlp/temporal-llms.