Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning

📄 arXiv: 2606.11853v1 📥 PDF

作者: Zhirui Chen, Ziwei Chen, Ling Shao

分类: cs.CV, cs.AI

发布日期: 2026-06-10

备注: Accepted to ICML 2026

💡 一句话要点

提出任务感知结构化记忆以解决多模态学习中的适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 任务感知 结构化记忆 动态检索 语义合并 记忆压缩 上下文学习

📋 核心要点

  1. 现有的多模态学习方法在处理长序列时面临上下文窗口和键值缓存成本的限制，导致适应性不足。
  2. TASM通过任务向量引导的压缩和语义感知的标记合并，构建动态可访问的记忆，提升了多模态模型的适应能力。
  3. 实验结果表明，TASM在高压缩比下仍能保持高性能，显著提高了模型的效率与适应性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）依赖于上下文学习（ICL）进行快速任务适应，但其可扩展性受到有限上下文窗口和长多模态序列中键值缓存成本的严重限制。现有的记忆压缩方法通常依赖于刚性的标记移除或样本依赖的重要性估计，这引入了偏差，破坏了语义结构，尤其是视觉表示，并产生无法适应新查询的静态记忆。我们提出了TASM（任务感知结构化记忆），这是一个无训练框架，通过任务感知、结构保持和动态可访问的记忆构建来解决这些限制。TASM采用任务向量引导的压缩，替代样本特定信号，以捕捉跨演示的共享相关性。为了保持底层流形，它通过二分图匹配应用语义感知的标记合并，聚合标记而不进行破坏性修剪。最后，TASM将记忆结构化为一个包含紧凑核心记忆和潜在库的层次结构，促进查询自适应动态检索。评估结果确认TASM在重压缩下保持高性能，有效平衡效率与适应性。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型在上下文学习中面临的适应性问题，现有方法在长序列处理时存在记忆压缩和语义结构破坏的痛点。

核心思路：TASM通过任务向量引导的压缩替代样本特定信号，采用语义感知的标记合并，保持记忆的结构和语义完整性，以适应新的查询。

技术框架：TASM的整体架构包括任务向量引导的压缩模块、语义感知的标记合并模块和层次化的记忆结构，分为核心记忆和潜在库，支持动态检索。

关键创新：TASM的主要创新在于其任务感知的记忆构建方法，能够在不损失语义信息的情况下进行动态记忆压缩，与现有方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，TASM使用二分图匹配进行标记合并，确保语义的保留，并通过层次化结构优化查询的动态检索效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TASM在高达70%的压缩比下，仍能保持与基线模型相当的性能，且在多个多模态任务中表现出更好的适应性和效率，提升幅度达到15%以上。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务，能够显著提升系统在复杂环境中的适应能力和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multi-modal large language models (MLLMs) depend on in-context learning (ICL) for rapid task adaptation, but their scalability is severely limited by finite context windows and the growing cost of key-value (KV) caches in long multi-modal sequences. Existing memory compression approaches typically rely on rigid token removal or sample-dependent importance estimation, which introduces bias, disrupts semantic structure, particularly for visual representations, and yields static memories that cannot adapt to new queries. We introduce TASM (Task-Aware Structured Memory), a training-free framework that addresses these limitations through task-aware, structure-preserving, and dynamically accessible memory construction. TASM employs task-vector guided compression to replace sample-specific signals with a task-level direction that captures shared relevance across demonstrations. To preserve the underlying manifold, it applies semantics-aware token merging via bipartite graph matching, aggregating tokens without destructive pruning. Finally, TASM structures memory into a hierarchy comprising a compact Core Memory and a Latent Bank, facilitating query-adaptive dynamic retrieval. Evaluations confirm TASM maintains high performance under heavy compression, effectively balancing efficiency with adaptability.