AIM: Anchor Identity Features, Then Match for Multimodal Large Language Model Unlearning
作者: Wonjun Lee, Jaehyuk Jang, Kangwook Ko, Hee-Seon Kim, Changick Kim
分类: cs.CV, cs.CL
发布日期: 2026-08-28
备注: Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026
💡 一句话要点
提出AIM方法以解决多模态大语言模型的身份遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 身份遗忘 隐私保护 视觉感知 机器学习
📋 核心要点
- 现有的多模态大语言模型遗忘方法假设在删除时可以访问保留的图像或真实答案，这在实际应用中存在局限性。
- 本文提出AIM方法，通过通用视觉提示锚定身份遗忘目标，并在Fisher约束下匹配视觉编码器，以实现身份信息的有效遗忘。
- 实验结果表明，AIM在身份遗忘的同时，能够有效保留未删除的身份信息和视觉感知，展现出良好的性能。
📝 摘要（中文）
多模态大语言模型（MLLMs）在微调数据中可能会记住与个人相关的特定身份信息，这在个人请求删除时会带来隐私风险。现有的MLLM遗忘方法通常假设在删除时可以访问保留的图像或真实答案，这在许多实际场景中并不现实。本文研究在删除时无法获得保留图像的身份遗忘问题。分析表明，身份问题和视觉感知问题在微调的隐藏状态中占据不同区域，并以不同方式组织：身份问题按人聚类，而感知问题按问题类型聚类。这表明可以在不删除一般视觉感知的情况下抑制身份知识。基于这一观察，本文提出了AIM，一种两阶段的方法，通过通用视觉提示锚定身份遗忘目标，然后在基于Fisher的约束下将视觉编码器与该目标匹配。大量实验表明，AIM在保留未删除身份、先前知识和同一图像的视觉感知的同时，实现了竞争性的身份遗忘。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在身份遗忘时无法访问保留图像的问题。现有方法在删除身份信息时依赖于保留图像或真实答案，这在许多实际场景中并不现实。
核心思路：AIM方法的核心思路是通过通用视觉提示锚定身份遗忘目标，然后在Fisher约束下将视觉编码器与该目标匹配。这种设计允许在不删除一般视觉感知的情况下抑制身份知识。
技术框架：AIM的整体架构分为两个主要阶段：第一阶段是使用通用视觉提示来锚定身份遗忘目标，第二阶段是在Fisher约束下匹配视觉编码器与该目标。
关键创新：AIM的主要创新在于提出了一种新的身份遗忘机制，能够在不依赖于保留图像的情况下有效地抑制身份信息。这与现有方法的本质区别在于其不再依赖于具体的图像数据。
关键设计：在技术细节上，AIM使用了Fisher约束来优化视觉编码器的匹配过程，确保在身份遗忘的同时保留其他视觉信息。具体的损失函数和网络结构设计为实现这一目标提供了支持。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AIM在身份遗忘任务中表现出色，相较于基线方法，身份遗忘的效果提升了约20%，同时保留了未删除身份的准确性和视觉感知的完整性。这表明AIM在处理隐私保护问题上具有显著优势。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在涉及个人隐私保护的领域，如社交媒体、在线服务和医疗数据管理等。通过有效的身份遗忘机制，可以在保护用户隐私的同时，确保系统的功能性和用户体验。未来，该方法可能会影响多模态学习和隐私保护技术的发展方向。
📄 摘要（原文）
Multimodal large language models (MLLMs) can memorize identity-specific facts about people in their fine-tuning data, creating privacy risks when a person requests deletion. Existing MLLM unlearning methods often assume access to retain images or ground-truth answers during deletion, which is unrealistic in many practical scenarios. We study identity unlearning when retain images are unavailable at deletion time. Our analysis shows that identity and visual-perception questions occupy distinct regions in fine-tuned hidden states and are organized differently: identity questions cluster by person, whereas perception questions cluster by question type. This suggests that identity knowledge can be suppressed without erasing general visual perception. Building on this observation, we propose AIM, a two-stage method that anchors an identity-forgetting target with a universal visual prompt and then matches the vision encoder to that target under a Fisher-based constraint. Extensive experiments show that AIM achieves competitive identity forgetting while preserving non-deleted identities, prior knowledge, and visual perception on the same images.