Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails
作者: Qianyu Chen, Canran Xiao, Runxuan Tang
分类: cs.AI
发布日期: 2026-07-02
💡 一句话要点
提出RCL框架以解决多模态学习中的隐藏遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 持续学习 隐藏遗忘 证据依赖 RCL框架 模型适应性 性能优化
📋 核心要点
- 现有的持续学习方法主要关注答案的准确性，而忽视了多模态模型在使用证据时的稳定性，导致隐藏遗忘现象。
- 本文提出了一种名为RCL的框架，通过冻结先前的模型检查点，优化证据依赖性，解决了多模态学习中的隐藏遗忘问题。
- 在多个基准测试中，RCL显著提高了最终性能，减少了遗忘率，并降低了模态依赖漂移，展现出强大的效果。
📝 摘要（中文）
多模态大语言模型需要不断适应不断变化的任务和领域，但现有的持续学习指标主要关注旧答案的正确性，忽视了多模态基础的稳定性。本文研究了这一被忽视的失败模式，提出了RCL框架，旨在保持模型在回答问题时所依赖的视觉、文本和其他证据的稳定性。通过冻结先前的检查点并优化任务学习、预测保持和依赖保持，RCL在多个基准测试中表现出色，显著降低了遗忘率和模态依赖漂移。
🔬 方法详解
问题定义：本文旨在解决多模态持续学习中的隐藏遗忘问题，即模型在保持答案准确性的同时，可能会悄然改变其对证据的依赖。现有方法未能有效评估这一现象，导致模型在适应新任务时可能失去对旧证据的依赖。
核心思路：提出RCL框架，通过冻结先前的模型检查点作为行为参考，利用反事实通道干预来估计教师和学生的证据依赖特征，从而优化任务学习、预测保持和依赖保持。
技术框架：RCL框架包含三个主要模块：冻结的检查点作为参考、证据依赖性评估模块和联合优化模块。通过这些模块，RCL能够在不增加推理时间成本的情况下实现优化。
关键创新：RCL的核心创新在于其无重放的依赖约束学习方法，能够有效降低模态依赖漂移和隐藏遗忘率，与传统的重放或记忆辅助方法相比，提供了更为稳定的证据使用。
关键设计：RCL设计了特定的损失函数以平衡任务学习和依赖保持，同时在网络结构上采用了灵活的通道干预机制，以便动态评估和调整模型的证据依赖性。通过这些设计，RCL能够在多个任务中保持高效的学习能力。
🖼️ 关键图片
📊 实验亮点
在CoIN、COAST、MCITlib等多个基准测试中，RCL框架显著提高了最终性能，减少了遗忘率，表现出比重放、PEFT、路由和记忆辅助基线更优的效果，降低了模态依赖漂移和隐藏遗忘率，展现出强大的实用性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务，能够帮助系统在不断变化的环境中保持对证据的有效利用。未来，RCL框架有望推动多模态学习的进一步发展，提高模型在复杂任务中的适应性和稳定性。
📄 摘要（原文）
Multimodal large language models must continually adapt to evolving tasks and domains, yet standard continual learning metrics mainly measure whether old answers remain correct, leaving the stability of multimodal grounding largely unexamined. We study this overlooked failure mode and ask whether a continually adapted MLLM can preserve not only what it answers, but also how it uses visual, textual, OCR, chart, and document evidence. We identify \emph{hidden evidence-use forgetting}, where answer accuracy is retained while the model silently shifts toward different or less grounded evidence channels, and propose \textsc{RCL}, a replay-free reliance-constrained continual learning framework. \textsc{RCL} freezes the previous checkpoint as a behavioral reference, estimates teacher and student evidence-reliance profiles through counterfactual channel interventions, and jointly optimizes task learning, prediction preservation, and reliance preservation without adding inference-time cost. Across CoIN, COAST, MCITlib, and an evidence-sensitive multimodal stream, \textsc{RCL} consistently improves final performance and reduces forgetting over replay-free, PEFT, routing, and memory-assisted baselines, while substantially lowering modality reliance drift, dominant evidence flips, and hidden forgetting rates. These results suggest that robust continual multimodal learning requires preserving the evidence path behind correct answers, not merely the answers themselves.