DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation

📄 arXiv: 2606.29961v1 📥 PDF

作者: Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

分类: cs.LG, cs.AI

发布日期: 2026-06-29

备注: 18 pages, 7 figures, 10 tables

💡 一句话要点

提出DuoMem以解决资源受限设备上的记忆增强代理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 记忆增强代理 双空间蒸馏 程序性任务 轻量级模型 边缘计算 ALFWorld 模型压缩 实时应用

📋 核心要点

  1. 现有的基于大型语言模型的代理在资源受限设备上难以实现，主要由于对大型模型和长上下文的依赖。
  2. DuoMem通过双空间蒸馏框架，将教师模型的程序性记忆和成功轨迹转移到学生模型，提升其性能。
  3. 在ALFWorld基准测试中，DuoMem使4B参数模型的任务成功率从4.3%提升至77.9%，并显著加快了任务完成速度。

📝 摘要（中文）

基于大型语言模型（LLM）的代理能够通过多轮交互解决复杂的程序性任务，但通常依赖于大型模型、长上下文和重复推理调用，这使得在资源受限设备上部署高级记忆增强代理变得困难。本文提出DuoMem，一个双空间蒸馏框架，将程序性问题解决能力从大型教师模型转移到紧凑的学生模型。DuoMem在两个互补空间中进行蒸馏：上下文空间蒸馏和参数空间蒸馏。实验结果表明，DuoMem显著提升了4B参数模型的任务成功率，并在实时边缘部署中表现出色。

🔬 方法详解

问题定义：论文要解决的问题是如何在资源受限设备上有效地部署记忆增强代理。现有方法通常依赖于大型模型和长上下文，导致在边缘设备上的应用受限。

核心思路：DuoMem的核心思路是通过双空间蒸馏，将大型教师模型的知识转移到紧凑的学生模型中，利用上下文空间和参数空间的互补特性来提升学生模型的性能。

技术框架：DuoMem框架包括两个主要模块：上下文空间蒸馏和参数空间蒸馏。上下文空间蒸馏通过将教师生成的高质量程序性记忆插入到学生的输入中来提升输入质量；参数空间蒸馏则通过对成功的教师轨迹进行微调，优化轻量级的LoRA适配器。

关键创新：DuoMem的创新在于其双空间蒸馏方法，能够在保持模型紧凑性的同时，显著提升任务成功率。这种方法与传统的单一蒸馏方法有本质区别，后者往往无法充分利用教师模型的潜力。

关键设计：在实现中，DuoMem仅增加了不到10M的可训练参数，并且只需少量的预计算教师记忆，确保了模型的高效性和实时性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在ALFWorld基准测试中，DuoMem使4B参数模型的任务成功率从4.3%提升至77.9%，接近72B教师模型的87.1%。此外，DuoMem增强的4B模型在墙钟时间上完成任务的速度比72B教师模型快3倍，显示出其在实时边缘部署中的可行性。

🎯 应用场景

DuoMem的研究成果具有广泛的应用潜力，尤其是在移动设备和边缘计算环境中。通过提升小型模型的记忆能力，该技术可以应用于智能助手、自动驾驶、机器人等领域，推动这些技术在资源受限环境中的实际应用。

📄 摘要（原文）

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary