CLIMB: Centroid-Based Hierarchical Memory for Online Continual Self-Supervised Learning

📄 arXiv: 2606.31275v1 📥 PDF

作者: Julien Lefebvre, Stefan Duffner, Mathieu Lefort

分类: cs.CV, cs.AI

发布日期: 2026-06-30

备注: Accepted at CoLLAs 2026 conference

💡 一句话要点

提出CLIMB以解决在线持续自监督学习中的记忆管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线学习 自监督学习 知识蒸馏 记忆管理 深度学习

📋 核心要点

  1. 现有的在线持续自监督学习方法在处理无标签数据流时面临记忆管理和表示漂移的挑战。
  2. CLIMB通过引入分层质心记忆和知识蒸馏，结合重放机制，有效管理存储图像并限制表示漂移。
  3. 在Split CIFAR-100和Split ImageNet-100的实验中，CLIMB显著优于当前最先进的OCSSL方法，展示了其有效性。

📝 摘要（中文）

在线持续自监督学习（OCSSL）旨在从连续的无标签数据流中学习表示，而无需了解任务边界并在内存限制下进行。现有方法依赖于重放缓冲区或正则化。本文提出CLIMB（智能记忆库的持续学习），同时结合了这两者。该方法引入了分层的基于质心的记忆，限制存储图像的总数，并结合对重放示例的知识蒸馏以限制表示漂移。记忆将相似图像分组为质心，为对比学习提供难以区分的示例，同时覆盖观察到的分布的多样性。在Split CIFAR-100和Split ImageNet-100等标准基准测试中，CLIMB的表现超越了现有的OCSSL方法。

🔬 方法详解

问题定义：本文解决在线持续自监督学习中的记忆管理和表示漂移问题。现有方法往往依赖于重放缓冲区或正则化，难以同时兼顾两者的优点。

核心思路：CLIMB的核心思路是结合分层质心记忆与知识蒸馏，通过对重放示例的处理来限制表示漂移，同时有效管理存储的图像数量。

技术框架：CLIMB的整体架构包括分层质心记忆模块和知识蒸馏模块。质心记忆将相似图像分组，形成质心，而知识蒸馏则用于从重放的示例中提取知识。

关键创新：CLIMB的主要创新在于其分层质心记忆的设计，能够在有限的存储空间内有效覆盖多样化的图像分布，与传统方法相比，提供了更好的对比学习示例。

关键设计：在参数设置上，CLIMB限制了存储图像的总数，并采用特定的损失函数来优化知识蒸馏过程，确保模型在学习新任务时不会遗忘旧任务的知识。该方法的网络结构经过精心设计，以支持质心的生成和更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Split CIFAR-100和Split ImageNet-100的实验中，CLIMB在多个标准基准测试中均表现优异，超越了现有的OCSSL方法，具体性能提升幅度达到XX%（具体数据未知），展示了其在处理无标签数据流中的有效性和优势。

🎯 应用场景

CLIMB的研究成果在多个领域具有潜在应用价值，包括自动驾驶、机器人视觉和智能监控等。这些领域需要处理不断变化的环境和任务，CLIMB能够有效地从无标签数据中学习并适应新情况，提升系统的智能化水平。未来，CLIMB还可能推动自监督学习在更多实际应用中的普及与发展。

📄 摘要（原文）

Online Continual Self-Supervised Learning (OCSSL) aims to learn representations from a continuous stream of unlabeled data, without knowledge of task boundaries and under memory constraints. Existing methods rely either on replay buffers that exploit latent space structure, or on regularization alone. We present CLIMB (Continual Learning with Intelligent Memory Bank), which combines both simultaneously. Our method introduces a hierarchical centroid-based memory, bounded in total number of stored images, combined with knowledge distillation on replayed examples to limit representation drift. The memory groups similar images into centroids, providing hard-to-discriminate examples for contrastive learning while covering the diversity of observed distributions. Experiments on Split CIFAR-100 and Split ImageNet-100, on standard benchmarks from the state-of-the-art as well as a new protocol with irregular task distributions show that CLIMB outperforms state-of-the-art OCSSL methods.