Continual Self-Improvement with Lightweight Experiential Latent Memories
作者: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi
分类: cs.LG
发布日期: 2026-06-16
💡 一句话要点
提出轻量级经验潜在记忆以实现持续自我改进
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 潜在记忆 推理能力 在线学习 轻量级模型
📋 核心要点
- 现有方法在推理过程中丢弃自我生成的推理痕迹，导致知识的瞬时性和无状态性。
- 提出通过轻量级的实例训练和自生成的测试时间信号，将推理痕迹转化为持久的潜在记忆。
- 在数学推理基准测试中，该方法显著优于零-shot和原始数据的ICL基线，展示了有效的跨数据集迁移能力。
📝 摘要（中文）
大型语言模型通过扩展推理时间计算实现强大的推理性能，但本质上是无状态的，丢弃了在此过程中生成的丰富自我推理痕迹。本文探讨模型是否可以在线学习这些经验，将瞬态计算（推理痕迹）转化为持久可重用的知识，而无需外部监督或未来数据的访问。研究表明，基于原始推理痕迹的上下文学习（ICL）无法泛化，反映了令牌级重用的基本局限性。相反，借鉴无监督强化学习的最新研究，发现使用自生成的测试时间信号（多数投票）作为奖励的轻量级实例训练能够显著提升性能，常常超越全数据集的离线训练。基于这一洞察，提出了一种在线方法，将推理时间计算提炼为紧凑的模块化潜在记忆，捕捉基本推理结构，支持持续改进并避免灾难性遗忘。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理过程中丢弃自我生成推理痕迹的问题，导致知识无法持久化和重用。现有方法的痛点在于无法有效利用这些瞬态信息进行在线学习。
核心思路：论文提出通过轻量级的实例训练，利用自生成的测试时间信号（如多数投票）作为奖励，将推理痕迹转化为可重用的潜在记忆，从而实现持续自我改进。
技术框架：整体架构包括推理过程中的信息提取、潜在记忆的生成与存储、以及未来输入的记忆检索与应用。主要模块包括推理模块、记忆模块和更新模块。
关键创新：最重要的技术创新在于将推理时间计算提炼为模块化的潜在记忆，避免了传统方法中的灾难性遗忘，同时保持了高效性和轻量化。与现有方法的本质区别在于不再依赖于全数据集的离线训练，而是通过在线学习实现知识的持续积累。
关键设计：该方法的关键设计包括极其轻量的软提示记忆（约占模型参数的0.001%），并且仅需少量梯度更新步骤即可训练，确保了在性能上与全参数更新和离线训练相竞争。
🖼️ 关键图片
📊 实验亮点
在挑战性的数学推理基准测试中，该方法显著超越了零-shot和原始数据的ICL基线，展示了有效的跨数据集迁移能力，提升幅度明显，验证了其在实际应用中的有效性和竞争力。
🎯 应用场景
该研究的潜在应用领域包括智能助手、教育技术和自动化决策系统等。通过持续自我改进的能力，模型能够在动态环境中不断优化其推理能力，提升用户体验和决策质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models achieve strong reasoning performance by scaling inference-time compute, yet remain fundamentally stateless, discarding the rich, self-produced reasoning traces generated during this process. We investigate whether models can instead learn online from this experience, converting transient computation (reasoning traces) into persistent reusable knowledge, and without external supervision or access to future data. We show that In-Context Learning (ICL) over raw reasoning traces fails to generalize, reflecting a fundamental limitation of token-level reuse: individual traces lack the abstraction needed for transfer, even after refinement (e.g. self-reflection). In contrast, drawing inspiration from recent works on unsupervised reinforcement learning, we find that lightweight per-instance training with self-generated test-time signals (majority voting) as rewards yields substantial gains, often surpassing full-dataset offline training, motivating a shift from raw traces to learned latent representations. Building on this insight, we propose an online method that distills inference-time compute spent on encountered problems into compact modular latent memories capturing the underlying reasoning structure. These memories are stored and retrieved for future inputs, enabling continual improvement while avoiding catastrophic forgetting through modular design. Importantly, our method is highly efficient, parametrized as extremely lightweight soft prompt memories (~0.001% of model parameters) and trained with only a few gradient steps, yet achieving performance competitive with full parametric updates and offline training. Across challenging mathematical reasoning benchmarks, our approach significantly outperforms zero-shot and raw data ICL baselines, while transferring effectively across datasets.