PAT-Questions: A Self-Updating Benchmark for Present-Anchored Temporal Question-Answering

📄 arXiv: 2402.11034v2 📥 PDF

作者: Jannat Ara Meem, Muhammad Shihab Rashid, Yue Dong, Vagelis Hristidis

分类: cs.CL

发布日期: 2024-02-16 (更新: 2024-06-03)

备注: Accepted to Findings of ACL '24

💡 一句话要点

提出PAT-Questions基准以解决当前时间锚定的时间问答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间问答 知识图谱 多跳推理 语言模型 SPARQL查询 实时更新 基准测试

📋 核心要点

  1. 现有的时间问答方法主要集中在特定时间点，缺乏对当前时间相关问题的研究，导致推理能力不足。
  2. 本文提出PAT-Questions基准，通过自动更新答案来解决当前时间锚定的时间问答问题，支持单跳和多跳推理。
  3. 实验结果表明，现有模型在PATQA任务中的表现有限，强调了需要新方法来提升推理能力的必要性。

📝 摘要（中文）

现有的时间问答（TQA）研究主要集中在特定时间戳或事件的问答上，较少关注与当前时间相关的问答。本文提出了当前时间锚定的时间问答（PATQA），并指出了其面临的独特挑战，包括大型语言模型的知识过时、复杂的时间关系推理、多跳推理需求以及基准答案的持续更新。为了解决这些问题，本文引入了PAT-Questions基准，包含单跳和多跳的时间问题，答案可通过在知识图谱上重新运行SPARQL查询自动更新。通过对多种最先进的语言模型和时间推理模型的评估，结果显示现有解决方案在PATQA中的局限性，强调了改进PATQA推理能力的新方法的必要性。

🔬 方法详解

问题定义：本文旨在解决当前时间锚定的时间问答（PATQA）问题，现有方法在处理与当前时间相关的复杂时间关系时存在知识过时和推理困难等痛点。

核心思路：提出PAT-Questions基准，通过重新运行SPARQL查询自动更新答案，解决了时间问答中答案过时的问题，并支持多跳推理。

技术框架：整体架构包括问题生成、答案更新和模型评估三个主要模块。首先生成时间问题，然后通过知识图谱更新答案，最后评估模型在PAT-Questions基准上的表现。

关键创新：最重要的创新在于引入了可自动更新的答案机制，使得时间问答能够实时反映最新信息，显著提升了问答的准确性和时效性。

关键设计：在模型评估中，采用了多种最先进的语言模型和时间推理模型（如TEMPREASON-T5），并通过直接提示和检索增强生成（RAG）方法进行对比，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有的语言模型在PATQA任务中的表现存在明显局限，尤其是在处理复杂时间关系和多跳推理时，准确率低于预期。这一发现强调了开发新方法以提升PATQA推理能力的紧迫性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索和知识管理等。通过提供实时更新的时间问答能力，能够提升用户在获取历史信息时的准确性和效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Existing work on Temporal Question Answering (TQA) has predominantly focused on questions anchored to specific timestamps or events (e.g. "Who was the US president in 1970?"). Little work has studied questions whose temporal context is relative to the present time (e.g. "Who was the previous US president?"). We refer to this problem as Present-Anchored Temporal QA (PATQA). PATQA poses unique challenges: (1) large language models (LLMs) may have outdated knowledge, (2) complex temporal relationships (e.g. 'before', 'previous') are hard to reason, (3) multi-hop reasoning may be required, and (4) the gold answers of benchmarks must be continuously updated. To address these challenges, we introduce the PAT-Questions benchmark, which includes single and multi-hop temporal questions. The answers in PAT-Questions can be automatically refreshed by re-running SPARQL queries on a knowledge graph, if available. We evaluate several state-of-the-art LLMs and a SOTA temporal reasoning model (TEMPREASON-T5) on PAT-Questions through direct prompting and retrieval-augmented generation (RAG). The results highlight the limitations of existing solutions in PATQA and motivate the need for new methods to improve PATQA reasoning capabilities.