Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails

📄 arXiv: 2607.02020 📥 PDF

作者: Qianyu Chen, Canran Xiao, Runxuan Tang

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出RCL框架以解决多模态学习中的隐性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 隐性遗忘 RCL框架 证据依赖 模型稳定性 动态适应

📋 核心要点

  1. 现有的持续学习方法主要关注答案的准确性，忽视了多模态模型在证据使用上的稳定性，导致隐性遗忘现象。
  2. 本文提出的RCL框架通过冻结先前的检查点，利用反事实干预评估证据依赖，优化任务学习与依赖保留。
  3. 实验表明，RCL在多个基准上均优于重放、PEFT、路由和记忆辅助的基线，显著降低了模态依赖漂移和隐性遗忘率。

📝 摘要（中文）

多模态大型语言模型必须不断适应不断变化的任务和领域，但标准的持续学习指标主要衡量旧答案是否保持正确，忽视了多模态基础的稳定性。本文研究了这一被忽视的失败模式，提出了RCL（无重放依赖约束的持续学习框架），旨在保持模型在回答准确性的同时，也能保留其使用视觉、文本、OCR、图表和文档证据的方式。通过对比干预，RCL能够评估教师和学生的证据依赖特征，并在不增加推理时间成本的情况下，优化任务学习、预测保留和依赖保留。实验结果表明，RCL在多个基准上显著提高了最终性能，并减少了遗忘现象。

🔬 方法详解

问题定义：本文解决的是多模态学习中存在的隐性遗忘问题，即模型在保持答案准确性的同时，可能会悄然改变其对证据的依赖方式，导致基础不稳定。

核心思路：RCL框架的核心思路是通过冻结先前的模型检查点作为行为参考，利用反事实干预来评估模型在不同证据通道上的依赖情况，从而优化任务学习和依赖保留。

技术框架：RCL框架包括三个主要模块：冻结的检查点作为参考、证据依赖评估模块和联合优化模块，后者同时优化任务学习、预测保留和依赖保留。

关键创新：RCL的创新点在于其无重放的设计，能够在不增加推理时间成本的情况下，保持模型对证据的依赖稳定性，避免了传统方法中常见的遗忘现象。

关键设计：RCL采用了特定的损失函数来平衡任务学习与依赖保留，并通过反事实干预技术来动态评估模型的证据依赖特征，确保模型在多模态输入下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RCL在CoIN、COAST、MCITlib等基准上均显著提高了最终性能，减少了遗忘现象，相较于重放、PEFT、路由和记忆辅助基线，模态依赖漂移降低，隐性遗忘率显著下降，展示了RCL的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能助手、自动驾驶、医疗影像分析等领域，能够提升多模态系统在动态环境下的适应能力和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models must continually adapt to evolving tasks and domains, yet standard continual learning metrics mainly measure whether old answers remain correct, leaving the stability of multimodal grounding largely unexamined. We study this overlooked failure mode and ask whether a continually adapted MLLM can preserve not only what it answers, but also how it uses visual, textual, OCR, chart, and document evidence. We identify \emph{hidden evidence-use forgetting}, where answer accuracy is retained while the model silently shifts toward different or less grounded evidence channels, and propose \textsc{RCL}, a replay-free reliance-constrained continual learning framework. \textsc{RCL} freezes the previous checkpoint as a behavioral reference, estimates teacher and student evidence-reliance profiles through counterfactual channel interventions, and jointly optimizes task learning, prediction preservation, and reliance preservation without adding inference-time cost. Across CoIN, COAST, MCITlib, and an evidence-sensitive multimodal stream, \textsc{RCL} consistently improves final performance and reduces forgetting over replay-free, PEFT, routing, and memory-assisted baselines, while substantially lowering modality reliance drift, dominant evidence flips, and hidden forgetting rates. These results suggest that robust continual multimodal learning requires preserving the evidence path behind correct answers, not merely the answers themselves.