DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection
作者: Yujin Tang, Chenming Shang, Ruize Xu, Nikhil Singh
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-06-25
备注: 16 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出DMV-Bench以解决多模态智能体视觉记忆评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 视觉记忆 交互基准 偶然线索 DualMem 家居电商 智能体评估
📋 核心要点
- 现有的智能体记忆研究主要集中在文本处理，缺乏针对视觉记忆的交互基准，导致智能体在实际应用中表现不佳。
- 论文提出DMV-Bench基准和DualMem内存架构，旨在通过视觉和语言编码的并行处理来提升智能体的记忆能力。
- 实验结果显示，DualMem在DMV-Bench上在所有链长任务中均超越了多个基线系统，证明了其有效性和优势。
📝 摘要（中文）
智能体记忆的研究迅速发展，但大多数集中在文本方面，缺乏在交互环境中评估智能体何时真正需要记住视觉信息的基准。本文提出DMV-Bench，这是首个针对多模态智能体视觉记忆的交互基准，基于1000种产品变体的家居电商目录构建。通过注入独特的偶然线索，智能体在购物过程中被要求回忆特定产品并导航至其链接。我们还提出了DualMem内存架构，能够并行维护视觉和语言编码。在DMV-Bench上，DualMem在不同链长的任务中均优于现有的多模态智能体记忆系统。
🔬 方法详解
问题定义：本文旨在解决现有多模态智能体在视觉记忆评估中的不足，尤其是在交互环境中如何有效记忆视觉信息的问题。现有方法多集中于文本，缺乏对视觉信息的深入研究。
核心思路：论文提出DMV-Bench作为新的基准，通过注入偶然线索来引导智能体记忆特定视觉信息。同时，DualMem架构通过并行处理视觉和语言编码，提升了记忆的准确性和效率。
技术框架：DMV-Bench基于家居电商目录构建，包含1000种产品变体。智能体在购物过程中接收视觉信息和偶然线索，随后被要求回忆并导航至特定产品的链接。DualMem架构则包括视觉编码模块和语言编码模块，二者协同工作。
关键创新：DMV-Bench是首个针对多模态智能体视觉记忆的交互基准，DualMem架构通过双编码理论实现了视觉和语言信息的并行处理，显著提升了智能体的记忆能力。
关键设计：在DualMem中，视觉编码模块负责处理图像信息，而语言编码模块则用于辅助查询。实验中控制了内存库大小和编码位置偏差，确保了实验结果的可靠性。
🖼️ 关键图片
📊 实验亮点
在DMV-Bench上，DualMem在所有链长任务中均超越了基线系统，尤其在链长为5、10、15和50的任务中，表现出显著的性能提升，证明了其在多模态智能体记忆中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、电子商务和人机交互等场景。通过提升智能体的视觉记忆能力，可以实现更智能的购物助手、个性化推荐系统和更自然的交互体验，未来可能推动智能体在复杂环境中的应用。
📄 摘要（原文）
Research on agent memory has matured rapidly, but almost entirely on the text side: few existing benchmarks ask, in an interactive environment, when an agent genuinely needs to remember what it saw rather than what it could write down. We introduce DMV-Bench (Code: https://github.com/yyyujintang/DMV-Bench), the first interactive benchmark for multimodal-agent visual memory. DMV-Bench is built on a controlled home-furnishing e-commerce catalogue of 1,000 product variants in which a text-leakage contract keeps the discriminative signal of each task in the pixels alone. Across a chain of autonomous shopping sessions, every visited product image carries a unique, pre-rendered incidental cue, and the agent is later asked to recall a particular cued product and navigate to its URL. Inspired by dual-coding theory, we propose DualMem, a memory architecture that maintains a visual and a verbal code in parallel. On DMV-Bench, DualMem outperforms a caption baseline and three recent multimodal agent-memory systems at every chain length J in {5, 10, 15, 50} on both Gemini 2.5 Flash and Qwen2.5-VL-7B, with the lead surviving controls for memory-bank size and encoding-position bias, and an asymmetric dual-coding regime in which vision carries the cue end-to-end while the verbal channel plays a smaller query-grounding role.