CAMR: Compatibility-Aware Memory Replay for Continual Learning in Large Language Models
作者: Jingpu Yang, Tianhao Li, Fengxian Ji, Yufeng Wang, Shuxin Zheng, Xiaoqing Zhang
分类: cs.CL
发布日期: 2026-10-27
💡 一句话要点
提出兼容性意识记忆重放以解决持续学习中的知识保留问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 大型语言模型 记忆重放 知识保留 兼容性检查 自适应框架 在线策略
📋 核心要点
- 现有方法在持续学习中面临如何有效判断新输入示例的监督需求及历史示例重访的挑战。
- 本文提出的CAMR框架通过兼容性检查与学习的记忆门，优化当前示例的监督与历史重放策略。
- 实验结果表明，CAMR在WikiBigEdit上表现优异，达到93.66%的准确率，并在多个任务中超越了对比基线。
📝 摘要（中文）
持续学习要求大型语言模型在获取新知识和能力的同时保留已学内容。尽管微调和重放支持知识的获取与保留，但如何判断新输入示例是否需要监督以及哪些历史示例需要重访仍然是一个挑战。本文提出了兼容性意识记忆重放（CAMR），这是一个自适应框架，联合控制当前示例的监督和历史重放。CAMR结合兼容性检查与学习的记忆门，指导在线策略进行三种操作：通过一般重放学习新示例、共同强化兼容的相关示例，以及跳过对已掌握重复示例的直接监督。该策略在有限的每到达重放预算下，从获取、保留和训练成本反馈中学习。我们在WikiBigEdit上评估了CAMR，结果显示其在多个任务上均优于对比方法。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在持续学习中如何有效获取新知识并保留已学知识的问题。现有方法在判断新示例的监督需求和选择历史示例重访方面存在不足，导致知识遗忘现象严重。
核心思路：CAMR框架通过兼容性检查和学习的记忆门，动态控制当前示例的监督和历史示例的重放。该设计旨在提高学习效率，减少不必要的监督，优化知识保留。
技术框架：CAMR的整体架构包括三个主要模块：兼容性检查模块、记忆门模块和在线策略模块。兼容性检查用于评估新示例与历史示例的关系，记忆门控制重放的选择，在线策略决定学习和重放的具体操作。
关键创新：CAMR的核心创新在于将兼容性检查与学习的记忆门相结合，形成了一种新的动态重放策略。这一方法与传统的重放策略相比，能够更有效地选择需要重放的历史示例，显著提高了知识保留率。
关键设计：在设计上，CAMR设置了有限的每到达重放预算，并通过反馈机制优化学习过程。损失函数和网络结构经过精心设计，以确保兼容性检查和记忆门的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CAMR在WikiBigEdit上在原始匹配度上从3K到100K事实的评估中，准确率达93.66%，并在100K事实后超越了全历史重放（LoRA）。此外，CAMR在所有四个TRACE任务上均取得了最高的最终得分，并在多个任务中保持或提升了早期任务的性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和自动化内容生成等。通过提高大型语言模型在持续学习中的知识保留能力，CAMR能够为实际应用提供更稳定和可靠的性能，推动智能系统的进一步发展与应用。
📄 摘要（原文）
Continual learning requires large language models to acquire new knowledge and capabilities while retaining what they have learned. Fine-tuning and replay support acquisition and retention, but deciding whether incoming examples need supervision and which historical examples to revisit remains a challenge. We propose Compatibility-Aware Memory Replay (CAMR), an adaptive framework that jointly controls current-example supervision and historical replay. CAMR combines compatibility checks with a learned memory gate to guide an online policy over three actions: learning incoming examples with general replay, jointly reinforcing compatible related examples, and skipping direct supervision of verified mastered duplicates. The policy learns from acquisition, retention, and training-cost feedback under a bounded per-arrival replay budget. We evaluate CAMR with Qwen3-8B-Base on continual factual updating and cross-task and cross-domain learning. On WikiBigEdit, CAMR consistently leads evaluated methods in Original Match from 3K to 100K facts, reaching 93.66% after just 3K facts and surpassing Full-history Replay (LoRA) after 100K facts. It also achieves the highest final scores on all four selected TRACE tasks and maintains or improves earlier-task performance relative to post-acquisition levels in a sequence spanning financial question answering, mathematical reasoning, code generation, and summarization.