Efficient Video Dataset Distillation via Cluster-Guided Prototype Blending
作者: Chongle Ren, Guang Li, Wenbo Huang, Naoki Saito, Takahiro Ogawa, Miki Haseyama
分类: cs.CV, cs.AI
发布日期: 2026-08-04
💡 一句话要点
提出ProtoBlend以解决视频数据集蒸馏效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频数据集蒸馏 ProtoBlend 动作识别 高效学习 聚类方法 信息选择 模型压缩
📋 核心要点
- 现有的视频数据集蒸馏方法依赖于迭代优化，导致计算成本高且效率低下。
- 本文提出ProtoBlend框架，通过选择和混合视频片段，避免了梯度优化过程，提升了蒸馏效率。
- 在四个动作识别基准测试中，ProtoBlend展示了优越的准确性和效率，证明了其有效性。
📝 摘要（中文）
视频数据集蒸馏旨在将大型视频数据集压缩为紧凑的替代集，以保留其训练效用。现有方法通过迭代优化合成浓缩视频，但由于时间维度的影响，成本显著增加。本文提出ProtoBlend框架，通过选择信息丰富的时间片段、覆盖多样的类内变异，并增加每个存储样本的信息量，构建有效的蒸馏视频。实验结果表明，ProtoBlend在不进行迭代优化的情况下，实现了竞争性的准确性与效率平衡。
🔬 方法详解
问题定义：本文解决的是如何高效地蒸馏视频数据集的问题。现有方法通常依赖于迭代优化，导致计算成本高且效率低下。
核心思路：论文提出了一种基于构建的方法，通过选择信息丰富的时间片段和混合原型，避免了梯度优化，从而提高了蒸馏效率。
技术框架：ProtoBlend框架包含三个主要模块：教师引导的时间片段选择、聚类引导的原型分配和原型混合。首先，从每个源视频中选择高置信度片段；其次，在教师特征空间中对选定片段进行聚类，并为每个类分配一个蒸馏槽；最后，将每个原型与类内锚点混合，并使用相同的系数组合教师预测。
关键创新：最重要的创新点在于提出了选择-分配-混合的框架，避免了传统方法中的迭代优化过程，从而显著提高了效率。
关键设计：在设计中，采用了教师引导的片段选择策略，确保所选片段的信息量高；聚类引导的分配策略则确保了类内多样性；混合过程中的监督机制则通过组合教师预测来增强学习效果。
🖼️ 关键图片
📊 实验亮点
在四个动作识别基准测试中，ProtoBlend在不进行迭代优化的情况下，达到了与现有方法相当的准确性，同时显著降低了计算成本，展示了优越的效率表现。
🎯 应用场景
该研究的潜在应用领域包括视频监控、动作识别和自动驾驶等场景。通过高效的视频数据集蒸馏，能够在资源受限的情况下，快速构建高效的模型，提升系统的实时性和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Video dataset distillation aims to compress a large video dataset into a compact surrogate set that preserves its training utility. Most existing approaches synthesize condensed videos through iterative optimization, whose cost is amplified by the temporal dimension. Rather than further reducing the number of optimized variables, we investigate whether effective distilled videos can be constructed without gradient-based optimization of the stored videos. Such a construction-based approach must address three challenges: selecting informative temporal segments, covering diverse intra-class variations under a limited videos-per-class budget, and increasing the information carried by each stored sample. To this end, we propose ProtoBlend, an efficient select-allocate-blend framework. First, teacher-guided temporal clip selection retains a high-confidence segment from each source video. Second, cluster-guided prototype allocation partitions the selected clips in the teacher feature space and assigns one distilled slot to each intra-class cluster. Third, each prototype is blended with an in-cluster anchor, while their teacher predictions are combined using the same coefficient to provide mixture-source supervision. Experiments on four trimmed action-recognition benchmarks demonstrate that ProtoBlend achieves a competitive accuracy-efficiency trade-off without iterative optimization of the distilled videos.