Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding

📄 arXiv: 2312.05328v4 📥 PDF

作者: Talfan Evans, Shreya Pathak, Hamza Merzic, Jonathan Schwarz, Ryutaro Tanno, Olivier J. Henaff

分类: cs.AI

发布日期: 2023-12-08 (更新: 2024-10-16)

备注: Technical report

💡 一句话要点

利用小模型主动学习加速大规模视觉理解，节省高达25%的计算资源

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 视觉理解 大规模训练 数据效率 代理模型

📋 核心要点

  1. 大规模视觉理解模型训练面临数据效率瓶颈，均匀采样训练成本高昂。
  2. 利用小而廉价的代理模型估计数据点的“可学习性”，指导大数据集训练。
  3. 实验表明，该方法显著减少训练所需的更新次数和计算资源，并在多模态迁移任务中取得SOTA。

📝 摘要（中文）

幂律缩放表明，使用均匀采样进行大规模训练的速度非常慢。主动学习方法旨在通过优先学习最相关的样本来提高数据效率。尽管这些方法很有吸引力，但尚未被广泛采用，因为没有一种算法能够 a) 推广到不同的模型和任务 b) 扩展到大型数据集 c) 在考虑数据选择的开销时，实现整体的 FLOP 节省。本文提出了一种满足这三个属性的方法，利用小型、廉价的代理模型来估计数据点的“可学习性”分数，这些分数用于优先选择数据来训练更大的模型。结果表明，我们的模型在 JFT 上达到与均匀训练的视觉分类器相同的性能所需的训练更新次数减少了 46%，在 ALIGN 上的多模态模型上减少了 51%，总计算量减少了高达 25%。最后，我们发现我们的数据优先级排序方案与最近的数据管理和学习目标相辅相成，在多个多模态迁移任务中产生了新的最先进水平。

🔬 方法详解

问题定义：大规模视觉模型训练依赖海量数据，均匀采样效率低下，导致训练成本高昂。现有主动学习方法难以同时满足泛化性、可扩展性和计算效率的要求，阻碍了其广泛应用。

核心思路：利用“差生（小模型）”更关注难样本的特性，训练小型代理模型来评估数据点的“可学习性”，即对模型训练的潜在价值。通过优先选择“可学习性”高的样本，加速大型模型的训练过程，提高数据利用率。

技术框架：该方法的核心在于使用小型代理模型预测数据点的“可学习性”得分。整体流程如下：1) 使用少量数据训练一个小型代理模型。2) 使用代理模型对整个数据集进行预测，并计算每个数据点的“可学习性”得分。3) 根据得分对数据进行排序，优先选择得分高的样本用于训练大型目标模型。4) 重复上述过程，可以动态调整训练数据集。

关键创新：该方法的核心创新在于利用小型代理模型来指导大型模型的训练，避免了直接在大规模数据集上进行复杂的主动学习计算。通过代理模型，将数据选择的计算负担转移到小型模型上，从而实现了计算效率的提升。此外，该方法具有良好的泛化性，可以应用于不同的模型和任务。

关键设计：代理模型的选择至关重要，需要选择训练速度快、计算成本低的轻量级模型。 “可学习性”得分的计算方式可以根据具体任务进行调整，例如可以使用代理模型的预测置信度、梯度范数等指标。数据选择的比例也需要根据数据集的规模和任务的复杂度进行调整。

📊 实验亮点

实验结果表明，该方法在 JFT 数据集上，达到与均匀训练的视觉分类器相同的性能所需的训练更新次数减少了 46%，在 ALIGN 数据集上的多模态模型上减少了 51%，总计算量减少了高达 25%。同时，该方法与现有的数据管理和学习目标相结合，在多个多模态迁移任务中取得了新的 SOTA 结果。

🎯 应用场景

该研究成果可广泛应用于计算机视觉领域，尤其是在大规模图像分类、目标检测、图像分割等任务中。通过主动学习，可以显著降低训练成本，加速模型迭代，并提高模型在实际应用中的性能。此外，该方法还可以应用于其他领域，例如自然语言处理、语音识别等，具有广泛的应用前景。

📄 摘要（原文）

Power-law scaling indicates that large-scale training with uniform sampling is prohibitively slow. Active learning methods aim to increase data efficiency by prioritizing learning on the most relevant examples. Despite their appeal, these methods have yet to be widely adopted since no one algorithm has been shown to a) generalize across models and tasks b) scale to large datasets and c) yield overall FLOP savings when accounting for the overhead of data selection. In this work we propose a method which satisfies these three properties, leveraging small, cheap proxy models to estimate "learnability" scores for datapoints, which are used to prioritize data for the training of much larger models. As a result, our models require 46% and 51% fewer training updates and up to 25% less total computation to reach the same performance as uniformly trained visual classifiers on JFT and multimodal models on ALIGN. Finally, we find our data-prioritization scheme to be complementary with recent data-curation and learning objectives, yielding a new state-of-the-art in several multimodal transfer tasks.