DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining

📄 arXiv: 2509.06990v1 📥 PDF

作者: Bryan Rodas, Natalie Montesino, Jakob Ambsdorf, David Klindt, Randall Balestriero

分类: cs.CV, cs.LG

发布日期: 2025-09-02

💡 一句话要点

DIET-CP：轻量级且数据高效的自监督持续预训练方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续预训练 自监督学习 小样本学习 迁移学习 基础模型 数据效率 轻量级

📋 核心要点

  1. 现有持续预训练方法在小数据集上表现不佳，且超参数调整困难，阻碍了其在特定领域的应用。
  2. DIET-CP提出了一种轻量级的自监督持续预训练策略，无需标签，超参数少，易于实施。
  3. 实验表明，DIET-CP在多种数据模态和骨干网络上表现稳定，仅用少量数据即可显著提升性能。

📝 摘要（中文）

持续预训练为将基础模型适配到新的目标领域提供了一种有前景的解决方案。然而，在特定领域，可用的数据集通常非常小，这限制了为大规模预训练开发的自监督学习方法的适用性，并使得超参数搜索变得不可行。此外，预训练模型通常仅作为骨干权重发布，缺乏继续预训练的重要信息。我们提出了DIET-CP来弥补这一差距，这是一种简单的持续预训练策略，可以将任何强大的基础模型引导到感兴趣的新数据分布。DIET-CP依赖于一个非常简单的目标，不需要标签，并且引入的超参数不比监督微调多。它在数据模态和骨干网络选择上是稳定的，同时仅使用1000张图像即可为DINOv3等最先进的模型提供显著的性能提升。

🔬 方法详解

问题定义：现有持续预训练方法在数据量较小的特定领域面临挑战。一方面，为大规模数据集设计的自监督学习方法难以直接应用。另一方面，由于数据量小，超参数搜索变得不可行。此外，通常只能获取预训练模型的骨干权重，缺乏其他重要信息，进一步限制了持续预训练的效果。

核心思路：DIET-CP的核心思路是通过一个简单且高效的自监督目标，引导预训练模型适应新的数据分布。该方法旨在最小化对新数据的依赖，并减少超参数调整的复杂性，从而使其适用于小数据集场景。通过这种方式，可以有效地利用预训练模型的知识，并将其迁移到新的领域。

技术框架：DIET-CP的整体框架非常简洁。它以一个预训练的骨干网络作为起点，然后使用目标领域的数据进行持续预训练。该过程不需要任何标签信息。DIET-CP使用一个简单的自监督损失函数来驱动模型的学习。具体来说，该损失函数旨在鼓励模型学习到对输入数据具有鲁棒性的表示。

关键创新：DIET-CP的关键创新在于其简单性和数据效率。它避免了复杂的自监督学习目标和大量的超参数，使其易于实现和调整。与需要大量数据的传统持续预训练方法相比，DIET-CP仅需少量数据即可实现显著的性能提升。此外，该方法对不同的数据模态和骨干网络具有良好的适应性。

关键设计：DIET-CP的关键设计包括选择合适的自监督损失函数。论文中使用的具体损失函数未知，但强调了其简单性。此外，该方法强调了对预训练模型权重的有效利用，避免了从头开始训练。具体的网络结构和参数设置取决于所使用的骨干网络，但DIET-CP的目标是尽可能减少需要调整的超参数数量。

📊 实验亮点

DIET-CP仅使用1000张图像即可显著提升DINOv3等先进模型的性能。实验结果表明，该方法在多种数据模态和骨干网络上表现稳定，无需复杂的超参数调整。这些结果突出了DIET-CP在数据效率和易用性方面的优势，使其成为小数据集持续预训练的理想选择。

🎯 应用场景

DIET-CP适用于各种数据量有限的专业领域，例如医学图像分析、遥感图像处理、工业缺陷检测等。它可以帮助研究人员和工程师快速地将现有的预训练模型适配到新的任务和数据集上，从而降低开发成本并提高模型性能。该方法还有助于推动小样本学习和迁移学习的发展。

📄 摘要（原文）

Continued pretraining offers a promising solution for adapting foundation models to a new target domain. However, in specialized domains, available datasets are often very small, limiting the applicability of SSL methods developed for large-scale pretraining and making hyperparameter search infeasible. In addition, pretrained models are usually released as backbone-weights only, lacking important information to continue pretraining. We propose to bridge this gap with DIET-CP, a simple continued pretraining strategy, where any strong foundation model can be steered towards the new data distribution of interest. DIET-CP relies on a very simple objective, requires no labels, and introduces no more hyperparameters than supervised finetuning. It is stable across data modalities and backbone choices, while providing a significant performance boost for state-of-the-art models such as DINOv3 using only 1000 images.