StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance
作者: Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun Lu
分类: cs.AI
发布日期: 2026-06-12
🔗 代码/项目: GITHUB
💡 一句话要点
提出StreamMemBench以评估代理记忆在未来辅助中的有效性
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 代理记忆 流式基准 用户反馈 任务序列 智能助手 人机交互
📋 核心要点
- 现有的记忆基准测试往往孤立评估对话回忆或任务改进，缺乏对流式观察到后续辅助的全面测试。
- 本文提出StreamMemBench，通过构建基于EgoLife流的两步任务序列，评估代理记忆的有效性。
- 实验结果显示，现有记忆系统在利用观察证据和反馈重用方面表现不佳，未能实现有效的后续行为。
📝 摘要（中文）
个人代理记忆的核心作用是将存储的信息和先前的互动转化为未来的辅助。在日常使用中，代理需要从观察到的内容和用户与代理的互动中提取有用的线索，并将其应用于类似的未来任务。现有的记忆基准测试通常孤立地测试对话回忆或任务改进，未能有效评估从流式观察到后续辅助的过程。为此，本文提出了StreamMemBench，一个基于EgoLife自我中心流的流式基准，构建了围绕每个证据锚的两步任务序列。初始任务测试证据使用情况，而后续任务则测试反馈和互动经验的重用情况。实验表明，当前系统在利用观察到的证据或将反馈转化为可靠的后续行为方面存在不足。
🔬 方法详解
问题定义：本文旨在解决现有记忆基准测试未能有效评估从流式观察到后续辅助的过程，导致代理在实际应用中无法充分利用用户互动和反馈。
核心思路：论文提出StreamMemBench，通过构建围绕证据锚的两步任务序列，评估代理如何使用观察到的证据以及如何将用户反馈转化为后续行为。这样的设计能够更真实地反映代理在实际使用中的表现。
技术框架：StreamMemBench的整体架构包括两个主要阶段：初始任务阶段和后续任务阶段。初始任务评估代理对证据的使用，而后续任务则评估反馈的重用情况。
关键创新：最重要的技术创新在于引入了流式基准测试，能够动态评估代理在不同任务间的记忆使用情况，与传统静态测试方法形成鲜明对比。
关键设计：在实验中，采用了四个评估指标来诊断证据回忆、初始证据使用、反馈整合和后续重用，确保全面评估代理记忆的有效性。
📊 实验亮点
实验结果显示，现有的八个记忆系统在利用观察证据和反馈重用方面表现不佳，尤其是在初始证据使用和后续行为的可靠性上，未能达到预期效果。这表明StreamMemBench能够有效揭示当前系统的不足之处。
🎯 应用场景
该研究的潜在应用领域包括智能助手、个性化推荐系统和人机交互等。通过提升代理的记忆能力，能够更好地满足用户的需求，提高用户体验，未来可能推动智能代理在各类应用中的广泛使用。
📄 摘要（原文）
A central role of personal-agent memory is to turn stored information and prior interactions into future-oriented assistance. In daily use, useful cues come from what the agent observes and how the user interacts with the agent, and the agent must carry them forward from the current request to similar future tasks. Existing memory benchmarks usually test dialogue recall or task improvement in isolation, leaving the trajectory from streaming observations to later assistance largely untested. We introduce StreamMemBench, a streaming benchmark that constructs a two-step task sequence around each evidence anchor from EgoLife egocentric streams. The initial task tests evidence use, while the follow-up task tests whether feedback and interaction experience are reused. Four metrics diagnose evidence recall, initial evidence use, feedback incorporation, and follow-up reuse. Experiments with eight memory systems across two backbones show that current systems often fail to use observed evidence or turn feedback into reliable follow-up behavior, even when evidence is stored or feedback is incorporated locally. StreamMemBench is publicly available at https://github.com/landian60/StreamMemBench.