EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments

📄 arXiv: 2606.13681v1 📥 PDF

作者: Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wang, Jun Wang, Anh Tuan Luu, Caiming Xiong, Hae Won Park, Bryan Hooi, Zhiyuan Hu

分类: cs.CL

发布日期: 2026-06-11

💡 一句话要点

提出EvoArena与EvoMem以解决动态环境下LLM代理的记忆演变问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 动态环境 记忆演变 基准测试 智能代理 环境适应性 补丁式记忆 性能提升

📋 核心要点

  1. 现有的LLM代理评估通常假设环境是静态的，无法应对动态变化，导致在真实场景中的表现不佳。
  2. 本文提出EvoArena基准和EvoMem记忆范式，旨在通过结构化的更新历史帮助代理适应环境变化。
  3. 实验结果显示，EvoMem在EvoArena上平均提高了1.5%的准确率，并在其他标准基准上也有显著提升。

📝 摘要（中文）

大型语言模型（LLM）代理在多项基准测试中表现出色，但大多数评估假设环境是静态的。现实世界的部署本质上是动态的，要求代理不断调整其知识、技能和行为以适应变化的环境和更新的任务条件。为了解决这一问题，本文引入了EvoArena，一个基准套件，通过终端、软件和社交领域的逐步更新序列来模拟环境变化。同时，我们提出了EvoMem，一种基于补丁的记忆范式，记录记忆演变的结构化更新历史，使代理能够通过记忆中的变化推理环境的演变。实验表明，当前代理在EvoArena上的平均准确率为39.6%。EvoMem显著提升了性能，平均提高了1.5%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）代理在动态环境中记忆演变的问题。现有方法在面对环境变化时表现不佳，无法有效调整代理的知识和行为。

核心思路：论文提出EvoArena基准和EvoMem记忆范式，通过记录记忆演变的结构化更新历史，帮助代理更好地理解和适应环境的变化。

技术框架：EvoArena作为基准套件，模拟环境变化的多个领域；EvoMem则是一个补丁式的记忆系统，记录代理在不同任务中的记忆演变。

关键创新：EvoMem的核心创新在于其结构化的记忆更新历史，使得代理能够更有效地捕捉和保留环境状态的演变，与传统方法相比，显著提高了代理的适应能力。

关键设计：EvoMem的设计包括特定的参数设置和损失函数，以优化记忆的更新过程，确保代理能够在动态环境中保持高效的推理能力。具体的网络结构和训练细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前代理在EvoArena上的平均准确率为39.6%，而EvoMem的引入使得这一准确率平均提高了1.5%。此外，EvoMem在GAIA和LoCoMo等标准基准上分别提升了6.1%和4.8%的性能，显示出其在多任务学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人等需要在动态环境中进行决策的系统。通过提升代理在变化环境中的适应能力，EvoMem能够为这些应用提供更可靠的支持，未来可能推动更智能的自动化系统的发展。

📄 摘要（原文）

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.