Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner
作者: Jieke Wang, Tiancheng Shen, Yibo Yang, Ming-Hsuan Yang
分类: cs.CV
发布日期: 2026-08-24
💡 一句话要点
提出DG-Mem框架以增强多模态学习模型的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 大语言模型 智能记忆 推理能力 机器学习
📋 核心要点
- 现有的多模态大语言模型在科学和数学推理方面存在明显不足，无法进行有效的参数级适应。
- DG-Mem框架通过引入双粒度记忆结构，结合实例记忆和类别模式记忆，增强了模型的推理能力。
- 在MathVista、MMMU和MMMU-Pro等基准测试中，DG-Mem在多个开放和专有骨干网络上均表现出显著提升。
📝 摘要（中文）
前沿的多模态大语言模型（MLLMs）在感知方面表现出色，但在科学和数学推理上仍存在不足。由于参数级适应在封闭权重或设备端骨干网络上不可用，且无状态提示放弃了已解决问题的累积效益。本文提出了DG-Mem，一个双粒度的智能记忆框架，通过一个非参数的、外部存储的记忆增强冻结的MLLM，该记忆在训练时构建一次，并在测试时只读访问。DG-Mem将存储分为实例基础的示例记忆和类别级的IF-THEN规则模式记忆，并通过瞬态反思存储介导其构建。该框架在多个基准测试中表现出色，超越了无记忆和竞争记忆基线。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在科学和数学推理中的不足，现有方法无法进行有效的参数级适应，且无状态提示无法利用已解决问题的知识。
核心思路：DG-Mem框架通过构建一个非参数的外部记忆，结合实例基础的示例记忆和类别级的IF-THEN规则模式记忆，来增强模型的推理能力。该设计灵感来源于人类记忆的互补学习系统理论。
技术框架：DG-Mem的整体架构包括三个主要模块：实例基础的示例记忆、类别级的模式记忆和瞬态反思存储。示例记忆存储具体实例，而模式记忆则存储抽象规则。
关键创新：DG-Mem的创新在于其双粒度记忆结构和在线概念分类器，后者在训练过程中逐步扩展类别空间，而非依赖预定义的分类体系。此外，Shapley上下文归因程序用于在测试时重新加权检索的规则。
关键设计：DG-Mem不引入梯度更新，适用于封闭权重或设备端骨干网络。其设计中包括在线概念分类器和Shapley归因程序，确保了模型在推理时的灵活性和准确性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，DG-Mem在四个开放和专有骨干网络上均表现出显著的性能提升。例如，在MathVista和MMMU-Pro上，DG-Mem相较于无记忆和竞争记忆基线，均实现了性能的持续改善，具体提升幅度未知。
🎯 应用场景
DG-Mem框架具有广泛的应用潜力，尤其在需要复杂推理和决策支持的领域，如科学研究、教育和智能助手等。通过增强多模态学习模型的推理能力，该研究能够推动更智能的系统开发，提升人机交互的质量和效率。
📄 摘要（原文）
Frontier multimodal large language models (MLLMs) deliver impressive perception yet still falter on scientific and mathematical reasoning. Parameter-level adaptation is unavailable for closed-weight or on-device backbones, and stateless prompting forfeits any compounding benefit from problems already solved. We propose \textbf{DG-Mem}, a dual-grained agentic memory framework that augments a frozen MLLM with a non-parametric, externally stored memory built once from training-time rollouts and consulted read-only at test time. Motivated by the Complementary Learning Systems (CLS) account of human memory, DG-Mem factors its store into an instance-grounded exemplar memory and a category-level schema memory of IF-THEN rules, with a transient reflection store mediating their construction so that schemas are synthesized only from abstract reflections, never from exemplar text. Two design choices distinguish DG-Mem: an online concept categorizer that grows the category space incrementally during training rather than committing to a predefined taxonomy, and a Shapley context attribution procedure that decomposes correctness across the entire retrieved rule set and yields a per-rule utility that re-weights retrieval at test time. The pipeline introduces no gradient updates and is deployable on closed-weight or on-device backbones. Across MathVista, MMMU, and MMMU-Pro on four open-weight and proprietary backbones (Qwen3.5-27B, Qwen3.5-122B-A10B, GPT-5-Nano, Gemini-3-Flash), DG-Mem improves consistently over no-memory and competitive memory baselines.