TriggerBench: Investigating Prospective Memory for Large Language Models

📄 arXiv: 2606.23459v1 📥 PDF

作者: Tianhua Zhang, Xinjiang Wang, Qianxi Zhang, Qi Chen, Kun Li, Yaoqi Chen, Dingdong Wang, Helen Meng, Yan Lu

分类: cs.CL

发布日期: 2026-06-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出TriggerBench以评估大语言模型的前瞻性记忆能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 前瞻性记忆 回顾性记忆 大语言模型 评估基准 智能助手 自动化客服 推理能力

📋 核心要点

  1. 现有方法主要关注回顾性记忆，前瞻性记忆的评估尚不充分，导致对大语言模型的理解不全面。
  2. TriggerBench通过设计多维度场景与回顾性记忆对照，提供了细致的前瞻性记忆评估框架。
  3. 实验结果表明，前瞻性记忆的准确性在隐性约束下显著下降，且其难度高于回顾性记忆，揭示了模型的推理能力限制。

📝 摘要（中文）

随着大语言模型（LLMs）在长时间交互中的广泛应用，现有评估主要集中于通过显式查询进行的回顾性记忆（RM）。而前瞻性记忆（PM），即在没有直接提示的情况下自发回忆和执行潜在约束的能力，尚未得到充分评估。我们提出了TriggerBench，这是一个涵盖日常助手和专业工作流程的全面PM基准，能够细致测量主动回忆、误报率和注意力稳健性。我们的评估结果显示，PM的准确性在隐性约束或用户请求过载的情况下显著下降，表明稳健的PM仍然是一个开放的挑战。

🔬 方法详解

问题定义：论文旨在解决大语言模型在前瞻性记忆（PM）评估中的不足，现有方法主要集中于回顾性记忆（RM），未能全面反映模型的记忆能力和推理能力。

核心思路：TriggerBench通过设计多种场景与回顾性记忆对照，评估模型在没有直接提示的情况下的自发回忆能力，提供了一种新的评估框架。

技术框架：整体架构包括五个维度的场景设计，配合回顾性记忆控制组、对比正负样本和过载触发器，形成一个统一的评估协议。

关键创新：最重要的创新在于引入前瞻性记忆的评估，揭示了模型在隐性约束和用户请求过载情况下的注意力脆弱性，与现有方法形成鲜明对比。

关键设计：在实验中，设置了不同的场景和触发器，使用了精细的测量指标，如主动回忆的精确度和误报率，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，前瞻性记忆在相同上下文下的准确性显著低于回顾性记忆，且在隐性约束或请求过载情况下，准确性下降明显。此外，成功的前瞻性记忆轨迹在相同上下文长度下的准确性高于失败轨迹，表明前瞻性记忆能够反映模型的推理能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和专业工作流程等，能够帮助开发更具前瞻性记忆能力的语言模型，提高用户交互体验和工作效率。未来，TriggerBench可能成为评估大语言模型记忆能力的重要标准，推动相关技术的发展。

📄 摘要（原文）

While Large Language Models (LLMs) are increasingly deployed in long interactions, existing evaluations focus predominantly on retrospective memory (RM) via explicit queries. Prospective memory (PM), the critical ability to spontaneously recall and act on latent constraints without direct prompts, remains largely unevaluated. We introduce TriggerBench, a comprehensive PM benchmark spanning five dimensions across both daily assistants and professional workflows. TriggerBench pairs scenarios with matched RM controls, contrastive positive/negative variants, and overloaded triggers, enabling fine-grained measurement of proactive recall, false-alarm rate, and attentional robustness under a single protocol. Our evaluation yields three key findings. (i) PM shows a precision-recall trade-off and attentional fragility. Though enhanced reasoning significantly improves proactive recall, models may overfit to an "always-remind" heuristic. Furthermore, PM accuracy degrades substantially under implicit constraints or triggers overloaded by concurrent user requests, indicating that robust PM remains an open challenge. (ii) PM is notably harder than RM: on identical contexts, RM near-saturates up to 100K tokens, while PM decays sharply as context length scales. (iii) PM may serve as a behavioral probe of spare reasoning capacity. Pairing PM scenarios with AIME-2025 math problems reveals that successful trajectories yield higher PM accuracy than failed ones at the same context length, showing PM tracks spare reasoning budget that token count obscures. Project page: https://github.com/KristenZHANG/TriggerBench-Official.