EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments

📄 arXiv: 2606.13681 📥 PDF

作者: Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wang, Jun Wang, Anh Tuan Luu, Caiming Xiong, Hae Won Park, Bryan Hooi, Zhiyuan Hu

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出EvoArena和EvoMem以解决动态环境下LLM代理的记忆演变问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 动态环境 记忆演变 基准测试 智能代理 补丁记忆 性能提升

📋 核心要点

  1. 现有的LLM代理评估大多假设环境是静态的，无法应对动态变化的现实场景，导致性能不足。
  2. 本文提出EvoArena作为基准套件，结合EvoMem记忆范式，帮助代理在动态环境中有效更新和利用记忆。
  3. 实验结果显示，EvoMem在EvoArena上提升了1.5%的准确率，并在其他基准上也有显著提高，表明其有效性。

📝 摘要（中文）

大型语言模型（LLM）代理在多项基准测试中表现出色，但大多数评估假设环境是静态的。与之相对，现实世界的部署环境是动态的，要求代理不断调整其知识、技能和行为以适应变化的环境和任务条件。为了解决这一问题，本文提出了EvoArena，一个基准套件，通过终端、软件和社交领域的渐进更新序列来模拟环境变化。同时，提出了EvoMem，一种基于补丁的记忆范式，记录记忆演变的结构化更新历史，使代理能够通过记忆中的变化推理环境演变。实验表明，当前代理在EvoArena上的平均准确率为39.6%。EvoMem显著提升了性能，在EvoArena上平均提高了1.5%，并在GAIA和LoCoMo等标准基准上分别提高了6.1%和4.8%。

🔬 方法详解

问题定义：本文旨在解决LLM代理在动态环境中记忆演变的问题。现有方法多假设环境静态，无法适应实时变化，导致代理性能下降。

核心思路：提出EvoArena基准和EvoMem记忆范式，通过结构化的更新历史记录环境变化，使代理能够更好地推理和适应动态环境。

技术框架：EvoArena包含多个领域的渐进更新，EvoMem则通过补丁机制记录记忆演变，整体流程包括环境变化模拟、记忆更新和性能评估。

关键创新：EvoMem的补丁式记忆记录方式是本文的核心创新，与传统静态记忆模型相比，能够更有效地捕捉和利用环境演变信息。

关键设计：EvoMem设计了特定的参数设置和损失函数，以优化记忆更新过程，并采用了适应性网络结构以增强对环境变化的响应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前代理在EvoArena上的平均准确率为39.6%。引入EvoMem后，性能提升显著，平均提高1.5%。此外，EvoMem在GAIA和LoCoMo基准上分别提高了6.1%和4.8%，并在EvoArena的链级任务上提高了3.7%。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人等需要在动态环境中进行决策的系统。通过改进记忆管理，代理能够更好地适应变化，提高任务执行的可靠性和效率，未来可能在多个行业中发挥重要作用。

📄 摘要（原文）

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.