InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

📄 arXiv: 2607.02010 📥 PDF

作者: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出InduceKV以解决多模态LLMs的持续适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 持续适应 内存预算 检索机制 任务增量调优 视觉问答 模型优化

📋 核心要点

  1. 现有方法在多模态大语言模型的持续适应中面临内存预算限制，导致适应状态累积和性能下降。
  2. InduceKV通过检索机制和固定内存预算，外部化任务特定更新，保持模型主干不变，实现高效的持续适应。
  3. 在任务增量指令调优、持续视觉问答等多个场景中，InduceKV在相同内存预算下显著提升性能，超越了多种基线方法。

📝 摘要（中文）

多模态大语言模型必须适应不断变化的任务和领域，但在有限的部署空间下持续改进仍然困难。本文研究了固定足迹的持续适应，提出InduceKV方法，通过检索机制将每个选定的训练前缀存储为注意力准备好的记忆条目，确保适应状态在固定内存预算下保持不变。实验结果表明，InduceKV在多个任务上均优于现有基线，展示了其在内存预算匹配下的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在持续适应过程中面临的内存预算限制问题。现有方法通过重复参数更新或扩展重放存储，导致适应状态随时间累积，影响性能。

核心思路：InduceKV提出了一种检索基础的方法，通过将每个选定的训练前缀存储为注意力准备好的记忆条目，确保在固定内存预算下进行有效的适应。该方法外部化任务特定更新，保持模型主干不变。

技术框架：InduceKV的整体架构包括两个主要模块：检索模块和记忆模块。检索模块负责选择合适的训练前缀，而记忆模块则将这些前缀转化为可附加的键值对，供模型的自注意力缓存使用。

关键创新：InduceKV的核心创新在于其固定内存预算下的双层选择机制，通过轻量级的校准进行检索，同时平衡当前任务的可能性、基于锚点的保留和冻结检索空间的覆盖率。这一设计与现有方法的根本区别在于不再依赖于不断增长的重放存储。

关键设计：在参数设置上，InduceKV采用了紧凑的层级键值（KV）负载，并设计了特定的损失函数以优化检索效果。此外，模型的自注意力缓存机制被有效利用，以确保适应过程中的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InduceKV在任务增量指令调优、持续视觉问答和领域增量适应等任务中，均在相同内存预算下超越了PEFT、MoE、重放和提示检索等基线方法，展现出显著的性能提升，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗诊断等需要持续学习和适应的多模态系统。通过实现固定内存预算下的高效适应，InduceKV能够在资源受限的环境中提供更灵活和智能的解决方案，推动多模态AI的发展。

📄 摘要（原文）

Multimodal large language models must adapt to evolving tasks and domains, yet continual improvement under bounded deployment footprint remains difficult because repeated parameter updates or growing replay stores can accumulate adaptation state over time. We study fixed-footprint continual adaptation: the deployed adaptation state is kept under a fixed memory budget, while the backbone model is left unchanged and task-specific updates are externalized. We propose InduceKV, a retrieval-based method that stores each selected training prefix as an attention-ready memory entry, consisting of a frozen retrieval key and compact layerwise key--value (KV) payloads that can be appended to the model's self-attention cache. Under a strict memory budget, InduceKV constructs a compact inducing set through bilevel selection: a lightweight calibration is fit for retrieval, while the selected memory balances current-task likelihood, anchor-based retention, and coverage in the frozen retrieval space. Across task-incremental instruction tuning, continual VQA, domain-incremental adaptation, and lifelong multimodal instruction tuning, InduceKV consistently improves over PEFT, MoE, replay, and prompt-retrieval baselines under matched memory budgets. We further report backbone-matched, stage-1 CoIN, compute-matched, and scalability diagnostics, showing that the gains are not due to a stronger backbone, replay alone, or an unbounded candidate pool.