Can Prompts Rewind Time for LLMs? Evaluating the Effectiveness of Prompted Knowledge Cutoffs

📄 arXiv: 2510.02340v2 📥 PDF

作者: Xin Gao, Ruiyi Zhang, Daniel Du, Saurabh Mahindre, Sai Ashish Somayajula, Pengtao Xie

分类: cs.CL, cs.LG

发布日期: 2025-09-26 (更新: 2025-10-15)

备注: Published at EMNLP 2025; Code and data available at https://github.com/gxx27/time_unlearn

🔗 代码/项目: GITHUB

💡 一句话要点

利用Prompt模拟知识截断评估LLM的时间感知能力与遗忘效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识截断 时间感知 Prompt工程 遗忘学习

📋 核心要点

  1. 现有LLM在时间预测任务中存在依赖预训练数据的问题，导致无法区分是记忆还是推理，高估了模型的泛化能力。
  2. 该论文提出利用Prompt来模拟LLM的知识截断，从而评估模型是否真正具备时间感知能力和遗忘能力。
  3. 实验结果表明，Prompt在直接查询截断日期后的信息时有效，但在涉及因果关系的查询时效果不佳，需要更严格的评估方法。

📝 摘要（中文）

大型语言模型（LLM）被广泛应用于时间预测，但它们对预训练数据的依赖引发了污染问题。在截断日期之前的测试数据上获得的准确预测可能反映了记忆，而非推理，从而导致对其泛化能力的过度估计。随着最近基于Prompt的遗忘技术的出现，一个自然的问题是：LLM能否通过Prompt模拟更早的知识截断？本文研究了Prompt在LLM中模拟更早知识截断的能力。我们构建了三个评估数据集，以评估LLM在多大程度上可以忘记（1）直接的事实知识，（2）语义转变，以及（3）因果相关的知识。结果表明，当直接查询截断日期之后的信息时，基于Prompt的模拟知识截断显示出有效性，但当忘记的内容不是直接询问而是与查询存在因果关系时，它们难以诱导遗忘。这些发现强调了在将LLM应用于时间预测任务时，需要更严格的评估设置。完整的数据集和评估代码可在https://github.com/gxx27/time_unlearn 获取。

🔬 方法详解

问题定义：现有的LLM在时间预测任务中，由于其预训练数据包含了大量时间信息，因此在评估其时间感知能力时，难以区分模型是通过记忆还是通过推理来做出预测。这导致对LLM泛化能力的评估存在偏差，高估了其真实性能。因此，需要一种方法来评估LLM是否真正具备“遗忘”过去知识的能力，并在此基础上进行时间推理。

核心思路：该论文的核心思路是利用Prompt来模拟LLM的知识截断，即通过特定的Prompt指令，让LLM“忘记”某个时间点之后的信息。通过这种方式，可以创建一个受控的实验环境，从而更准确地评估LLM的时间感知能力和遗忘效果。如果LLM能够成功地模拟知识截断，那么它在回答相关问题时，应该只依赖于截断日期之前的知识。

技术框架：该研究的技术框架主要包括以下几个步骤：1）构建评估数据集：针对事实知识、语义转变和因果关系三种类型的信息，构建了三个评估数据集，每个数据集都包含时间信息。2）设计Prompt：设计不同的Prompt指令，引导LLM模拟知识截断，例如“请忘记2020年之后的信息”。3）进行评估：使用构建的数据集和设计的Prompt，对LLM进行评估，考察其在不同类型信息上的遗忘效果。4）分析结果：分析评估结果，判断LLM是否成功地模拟了知识截断，并探讨其遗忘能力的局限性。

关键创新：该论文的关键创新在于提出了利用Prompt来模拟LLM知识截断的方法，这为评估LLM的时间感知能力和遗忘效果提供了一种新的思路。与传统的评估方法相比，该方法更加灵活和可控，可以针对不同类型的信息进行评估，并深入了解LLM的遗忘机制。

关键设计：在Prompt设计方面，论文尝试了多种不同的Prompt形式，例如直接指令（“请忘记2020年之后的信息”）、间接指令（“假设现在是2020年”）。在数据集构建方面，论文特别关注了因果关系信息的构建，因为这种类型的信息更能体现LLM的推理能力。此外，论文还设计了不同的评估指标，用于衡量LLM的遗忘效果，例如准确率、召回率等。

📊 实验亮点

实验结果表明，当直接查询截断日期之后的信息时，基于Prompt的模拟知识截断显示出一定的有效性。然而，当查询涉及因果关系时，LLM难以诱导遗忘，表明其遗忘能力存在局限性。这提示我们在评估LLM的时间感知能力时，需要更加关注因果关系等复杂信息的处理，并设计更严格的评估方法。

🎯 应用场景

该研究成果可应用于提升LLM在时间敏感型任务中的可靠性，例如金融预测、新闻摘要、历史事件分析等。通过Prompt控制LLM的知识范围，可以避免模型受到最新信息的干扰，从而提高预测的准确性和稳定性。此外，该研究也有助于开发更安全、可控的LLM，防止模型泄露敏感信息或产生不当言论。

📄 摘要（原文）

Large Language Models (LLMs) are widely used for temporal prediction, but their reliance on pretraining data raises contamination concerns, as accurate predictions on pre-cutoff test data may reflect memorization rather than reasoning, leading to an overestimation of their generalization capability. With the recent emergence of prompting-based unlearning techniques, a natural question arises: Can LLMs be prompted to simulate an earlier knowledge cutoff? In this work, we investigate the capability of prompting to simulate earlier knowledge cutoff in LLMs. We construct three evaluation datasets to assess the extent to which LLMs can forget (1) direct factual knowledge, (2) semantic shifts, and (3) causally related knowledge. Results demonstrate that while prompt-based simulated knowledge cutoffs show effectiveness when directly queried with the information after that date, they struggle to induce forgetting when the forgotten content is not directly asked but causally related to the query. These findings highlight the need for more rigorous evaluation settings when applying LLMs for temporal prediction tasks. The full dataset and evaluation code are available at https://github.com/gxx27/time_unlearn.