MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

📄 arXiv: 2608.20202v1 📥 PDF

作者: Mengru Wang, Haozhe Luo, Zhenqian Xu, Zhixiang Cui, Haoming Xu, Qu Yang, Jizhan Fang, Junfeng Fang, Ningyu Zhang

分类: cs.AI, cs.CL, cs.CY, cs.DB, cs.LG

发布日期: 2026-08-20

备注: Work in progress

💡 一句话要点

提出MemTrapBench以评估大语言模型中的认知陷阱

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 内存基准 认知陷阱 推理固化 信念扭曲 AdaptiveMem 自然语言处理

📋 核心要点

  1. 现有内存基准主要关注信息的提取和存储，忽视了检索到的记忆对模型推理的影响。
  2. 论文提出MemTrapBench基准，系统评估内存引发的认知陷阱，并提出AdaptiveMem方法以缓解这些问题。
  3. 实验结果显示，所有内存策略在MemTrapBench上表现不佳，AdaptiveMem方法有效减轻了认知陷阱的影响。

📝 摘要（中文）

内存已成为大型语言模型的关键组成部分，使其能够保留信息并从长期交互中学习。然而，现有的内存基准主要评估信息的提取、存储和检索，而忽视了检索到的记忆如何重塑模型推理并影响当前任务的表现。本文识别了内存引发的认知陷阱，提出了MemTrapBench基准，涵盖推理固化和信念扭曲两种认知陷阱。实验表明，所有评估的内存策略在无内存设置下表现不佳，最强方法的性能下降超过10%。为缓解这些认知陷阱，提出了AdaptiveMem方法，在保持或提高标准内存基准性能的同时，有效减轻了MemTrapBench上的认知陷阱。

🔬 方法详解

问题定义：本文旨在解决现有内存基准未能评估内存对模型推理影响的问题，识别内存引发的认知陷阱对任务表现的负面影响。

核心思路：提出MemTrapBench基准，涵盖推理固化和信念扭曲两种认知陷阱，并通过AdaptiveMem方法指导模型避免这些陷阱。

技术框架：MemTrapBench包含两种认知陷阱的评估，AdaptiveMem在推理时动态调整模型的内存使用，确保模型在执行任务时不受负面记忆的影响。

关键创新：MemTrapBench是首个系统评估内存引发的认知陷阱的基准，AdaptiveMem方法在保持内存性能的同时有效减轻了认知陷阱的影响。

关键设计：AdaptiveMem通过简单的指令调整模型的内存使用策略，确保在推理过程中减少对已存储记忆的依赖，优化模型的决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有评估的内存策略在MemTrapBench上表现不佳，性能下降超过10%。而AdaptiveMem方法有效减轻了认知陷阱的影响，保持或提高了标准内存基准的性能，展现出显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和人机交互等。通过优化内存使用，提升模型在复杂任务中的表现，具有重要的实际价值和未来影响，尤其是在需要长期记忆和推理的应用场景中。

📄 摘要（原文）

Memory has become a key component of large language models, enabling them to retain information and learn from long-term interactions. However, existing memory benchmarks mainly evaluate whether information is correctly extracted, stored, and retrieved, while largely overlooking how retrieved memories reshape model reasoning and affect performance on the current task. We identify memory-induced cognitive traps: even faithfully recorded and semantically relevant memories can distort model reasoning or beliefs and degrade current task performance. To systematically evaluate these failure modes, we introduce MemTrapBench, which covers two forms of cognitive traps: Reasoning Fixation and Belief Distortion. Experiments across two model families and five representative memory frameworks show that MemTrapBench is challenging: all evaluated memory strategies underperform the no-memory setting, with even the strongest methods suffering drops of more than 10%. To mitigate these cognitive traps, we propose AdaptiveMem, a simple yet effective inference-time method that instructs LLMs to avoid memory traps. AdaptiveMem mitigates cognitive traps on MemTrapBench while preserving or improving performance on standard memory benchmarks across diverse memory frameworks.