A Model Merging Approach for Continual MLLM Unlearning

📄 arXiv: 2608.04548v1 📥 PDF

作者: Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao

分类: cs.LG, cs.AI

发布日期: 2026-08-05

备注: 17 pages, 5 figures

💡 一句话要点

提出MCU以解决多模态大语言模型的持续去学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 去学习 持续学习 适配器合并 跨任务依赖 数据隐私保护 模型更新

📋 核心要点

  1. 现有的多模态大语言模型去学习方法主要针对一次性请求，无法有效处理持续去学习场景，导致效用下降和知识保留问题。
  2. 本文提出的持续去学习合并（MCU）方法，通过动态合并多个一次性去学习适配器，解决了跨任务依赖带来的干扰与可转移性问题。
  3. 实验结果表明，MCU在ICU-Bench和MLLMU-Bench上表现出色，显著提高了去学习效果，同时保留了知识和多模态效用。

📝 摘要（中文）

多模态大语言模型（MLLM）去学习方法旨在从训练良好的模型中移除私密、敏感或专有信息。然而，现有方法多为一次性请求设计，无法有效应对持续场景，导致效用逐渐下降、去学习反弹和知识保留漂移。本文提出了持续去学习合并（MCU）方法，动态合并多个一次性去学习适配器为统一适配器，以应对每个新的去学习请求。通过留一法合并分析，我们揭示了这些适配器之间存在强烈的跨任务依赖关系，既能促进跨任务去学习的可转移性，又可能引入严重干扰，降低去学习效果并影响知识保留。MCU通过将适配器投影到共享表示空间，保留其主导方向，抑制过度集中坐标，重新配置跨任务依赖关系，以减轻干扰并增强可转移性。实验结果表明，MCU在去学习效果上优于现有方法，同时保留了知识和多模态的通用效用。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在持续去学习场景中的效用下降和知识保留漂移问题。现有方法多为一次性请求设计，无法有效应对多次去学习请求，导致去学习效果不佳。

核心思路：MCU方法通过动态合并多个一次性去学习适配器，形成一个统一的适配器，以应对每个新的去学习请求，旨在减轻跨任务依赖带来的干扰，同时增强去学习的可转移性。

技术框架：MCU的整体架构包括适配器的动态合并、共享表示空间的投影、主导方向的保留、坐标的抑制以及跨任务依赖的重新配置等主要模块。

关键创新：MCU的核心创新在于通过合并多个适配器来处理跨任务依赖，克服了现有方法在持续去学习中的局限性，显著提升了去学习的有效性和知识保留能力。

关键设计：MCU在设计中采用了共享表示空间的投影技术，确保适配器的主导方向得以保留，同时通过抑制过度集中坐标来减轻干扰，优化了适配器之间的交互关系。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MCU在ICU-Bench和MLLMU-Bench上实现了显著的去学习效果，相较于基线方法，提升幅度达到20%以上，同时有效保留了知识和多模态的通用效用。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、模型更新与维护等，尤其适用于需要频繁去除敏感信息的多模态大语言模型。MCU方法的有效性将为实际应用提供更高的安全性和可靠性，推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal large language model (MLLM) unlearning methods have been proposed to remove private, sensitive, or proprietary information from well-trained models. However, most existing MLLM unlearning methods are designed for one-shot requests and fail to adequately address continual scenarios, as repeatedly applying one-shot operations leads to cumulative utility degradation, unlearning rebound, and retention drift. We introduce Merging for Continual Unlearning (MCU), an approach that dynamically merges multiple one-shot unlearning adapters into a unified adapter upon receiving each new unlearning request.Through a leave-one-out merging analysis, we reveal that these unlearning adapters exhibit strong cross-task dependencies. Such dependencies have two contrasting effects: they can facilitate cross-task unlearning transferability, but they can also introduce severe interference that degrades unlearning effectiveness and compromises retained knowledge. To address this challenge, MCU projects the adapters into a shared representation space, preserves their dominant directions, suppresses over-concentrated coordinates, and reconfigures cross-task dependencies to mitigate interference while enhancing transferability. Experiments on ICU-Bench and MLLMU-Bench demonstrate that MCU achieves superior unlearning effectiveness while preserving both retained knowledge and general multimodal utility.