InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

📄 arXiv: 2607.02010v1 📥 PDF

作者: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

分类: cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出InduceKV以解决多模态LLMs的持续适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 持续适应 内存管理 检索机制 任务特定更新

📋 核心要点

  1. 现有方法在多模态大型语言模型的持续适应中面临内存占用不断增加的问题，难以在有限的资源下进行有效更新。
  2. InduceKV通过固定内存预算下的检索机制，将任务特定的更新外部化，保持主干模型不变，从而实现持续适应。
  3. 在多个任务增量调优和适应场景中，InduceKV在与PEFT、MoE等基线方法对比中，均表现出显著的性能提升。

📝 摘要（中文）

多模态大型语言模型需要适应不断变化的任务和领域，但在有限的部署空间下实现持续改进仍然困难。本文研究了固定足迹的持续适应，保持已部署的适应状态在固定内存预算内，同时不改变主干模型。我们提出了InduceKV，这是一种基于检索的方法，通过将每个选定的训练前缀存储为准备好的注意力记忆条目，构建紧凑的诱导集。实验表明，InduceKV在多个任务上均优于现有基线方法，展示了其在固定内存预算下的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在持续适应过程中，因参数更新或重放存储增长而导致的内存占用问题。现有方法在固定内存预算下难以有效进行适应，导致适应状态不断累积。

核心思路：InduceKV的核心思路是通过检索机制，将每个选定的训练前缀存储为注意力准备的记忆条目，保持主干模型不变，同时在固定内存预算内实现任务特定的更新。

技术框架：该方法的整体架构包括两个主要模块：首先是轻量级的校准模块，用于适应检索；其次是通过双层选择构建紧凑的诱导集，平衡当前任务的可能性、基于锚点的保留和在冻结检索空间中的覆盖率。

关键创新：InduceKV的创新之处在于其检索机制和记忆条目的设计，使得在固定内存预算下能够有效地进行任务适应，而不依赖于强大的主干模型或无限的候选池。

关键设计：在参数设置上，InduceKV采用了紧凑的层级键值（KV）负载，并将其附加到模型的自注意力缓存中，确保在内存限制下的高效存储和检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个任务增量指令调优、持续视觉问答和领域增量适应等实验中，InduceKV在固定内存预算下均显著优于PEFT、MoE、重放和提示检索等基线方法，展示了其在性能上的一致性提升。

🎯 应用场景

该研究的潜在应用场景包括智能助手、自动问答系统和多模态内容生成等领域。通过有效的持续适应，InduceKV能够提升模型在动态环境中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal large language models must adapt to evolving tasks and domains, yet continual improvement under bounded deployment footprint remains difficult because repeated parameter updates or growing replay stores can accumulate adaptation state over time. We study fixed-footprint continual adaptation: the deployed adaptation state is kept under a fixed memory budget, while the backbone model is left unchanged and task-specific updates are externalized. We propose InduceKV, a retrieval-based method that stores each selected training prefix as an attention-ready memory entry, consisting of a frozen retrieval key and compact layerwise key--value (KV) payloads that can be appended to the model's self-attention cache. Under a strict memory budget, InduceKV constructs a compact inducing set through bilevel selection: a lightweight calibration is fit for retrieval, while the selected memory balances current-task likelihood, anchor-based retention, and coverage in the frozen retrieval space. Across task-incremental instruction tuning, continual VQA, domain-incremental adaptation, and lifelong multimodal instruction tuning, InduceKV consistently improves over PEFT, MoE, replay, and prompt-retrieval baselines under matched memory budgets. We further report backbone-matched, stage-1 CoIN, compute-matched, and scalability diagnostics, showing that the gains are not due to a stronger backbone, replay alone, or an unbounded candidate pool.