Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning

📄 arXiv: 2311.09821v2 📥 PDF

作者: Qingyu Tan, Hwee Tou Ng, Lidong Bing

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-07-12)

备注: To appear in Findings of ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Complex-TR数据集以增强大语言模型的时间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间推理 多跳问答 数据增强 大语言模型 复杂数据集

📋 核心要点

  1. 现有的时间问答方法未能充分考虑多答案和多跳推理的复杂性，导致模型在处理动态知识时表现不足。
  2. 本文提出Complex-TR数据集，专注于多答案和多跳时间推理，同时引入数据增强策略以提升模型的推理能力和鲁棒性。
  3. 实验结果显示，所提方法在多个时间问答基准上显著提高了LLMs的性能，验证了其有效性。

📝 摘要（中文）

现实世界的知识不断更新，但频繁更新大型语言模型（LLMs）成本高昂。因此，LLMs理解时间知识的概念至关重要。然而，现有的时间问答（TQA）研究未强调多答案和多跳类型的时间推理。本文提出了一个复杂的时间问答数据集Complex-TR，专注于多答案和多跳时间推理。此外，我们还提出了一种新颖的数据增强策略，以提高LLMs的复杂时间推理能力和鲁棒性。实验结果表明，我们的方法在多个时间问答基准上显著提升了LLMs的性能。我们的代码和数据已发布在：https://github.com/nusnlp/complex-tr。

🔬 方法详解

问题定义：本文旨在解决现有时间问答方法在多答案和多跳推理方面的不足，尤其是在处理动态知识时的局限性。

核心思路：提出Complex-TR数据集，专注于多跳和多答案的时间推理，同时采用数据增强策略，以提高模型的推理能力和鲁棒性。

技术框架：整体架构包括数据集构建、数据增强模块和模型训练阶段。数据集构建关注多跳和多答案的设计，数据增强模块则通过生成伪指令来提升模型的学习效果。

关键创新：最重要的创新在于Complex-TR数据集的设计和数据增强策略的引入，这与现有方法的单一答案和单跳推理形成鲜明对比。

关键设计：在数据增强中，采用伪指令调优策略，结合多样化的问答样本，以提升模型的泛化能力和推理深度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提方法在多个时间问答基准上显著提高了LLMs的性能，具体提升幅度达到XX%，相较于基线模型表现出更强的推理能力和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识图谱构建和人机交互等。通过增强LLMs的时间推理能力，能够更好地处理动态知识和复杂查询，从而提升用户体验和系统的智能水平。

📄 摘要（原文）

Knowledge in the real world is being updated constantly. However, it is costly to frequently update large language models (LLMs). Therefore, it is crucial for LLMs to understand the concept of temporal knowledge. However, prior works on temporal question answering (TQA) did not emphasize multi-answer and multi-hop types of temporal reasoning. In this paper, we propose a complex temporal question-answering dataset Complex-TR that focuses on multi-answer and multi-hop temporal reasoning. Besides, we also propose a novel data augmentation strategy to improve the complex temporal reasoning capability and robustness of LLMs. We conducted experiments on multiple temporal QA datasets. Experimental results show that our method is able to improve LLMs' performance on temporal QA benchmarks by significant margins. Our code and data are released at: https://github.com/nusnlp/complex-tr.