uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
作者: Afrina Tabassum, Dung Tran, Trung Dang, Ismini Lourentzou, Kazuhito Koishida
分类: cs.SD, cs.LG, eess.AS
发布日期: 2024-03-14
备注: 5 pages, 6 figures, 4 tables. To appear in ICASSP'2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出uaMix-MAE以高效调优预训练音频变换器
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音频处理 无监督学习 实例区分 对比学习 预训练模型
📋 核心要点
- 现有的Masked Autoencoders（MAEs）在下游任务中需要大量标注数据，限制了其应用。
- uaMix-MAE通过结合无监督音频混合和对比调优，减少了对标注数据的需求，提升了模型适应性。
- 在低/少样本设置下，uaMix-MAE在多个基准测试中实现了4-6%的准确率提升，显示出其有效性。
📝 摘要（中文）
论文提出了uaMix-MAE，一种高效的实例区分调优策略，旨在解决预训练的Masked Autoencoders（MAEs）在下游任务中对大量标注数据的依赖问题。通过结合无监督音频混合技术，uaMix-MAE利用对比调优来对齐预训练MAEs的表示，从而有效适应特定任务的语义。实验结果表明，在低/少样本设置下，uaMix-MAE在使用有限的无标注数据时，准确率提升了4-6%。
🔬 方法详解
问题定义：本论文旨在解决预训练的Masked Autoencoders（MAEs）在下游任务中对大量标注数据的依赖问题。现有方法在将实例区分（ID）与MAEs结合时，往往导致训练时间延长和计算成本增加。
核心思路：论文提出的uaMix-MAE通过无监督音频混合技术，结合对比调优，旨在高效地对齐预训练MAEs的表示，从而在有限的无标注数据下实现有效的任务适应。
技术框架：uaMix-MAE的整体架构包括音频混合模块和对比调优模块。音频混合模块负责在输入和虚拟标签空间中操作音频样本，而对比调优模块则用于对齐预训练模型的表示。
关键创新：uaMix-MAE的主要创新在于其高效的实例区分调优策略，能够在不显著增加计算负担的情况下，利用无监督音频混合来提升MAEs的性能。与传统方法相比，该方法在训练效率和效果上均有显著改善。
关键设计：在模型设计中，uaMix-MAE采用了特定的损失函数以优化对比学习过程，并在网络结构上进行了调整，以适应音频数据的特性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，uaMix-MAE在低/少样本设置下实现了4-6%的准确率提升，显示出其在使用有限无标注数据时的有效性。这一结果表明，uaMix-MAE在音频领域的应用具有显著的性能优势。
🎯 应用场景
uaMix-MAE的研究成果在音频处理、语音识别和音乐信息检索等领域具有广泛的应用潜力。通过减少对标注数据的依赖，该方法能够加速模型的训练过程，降低成本，促进相关技术的普及与发展。
📄 摘要（原文）
Masked Autoencoders (MAEs) learn rich low-level representations from unlabeled data but require substantial labeled data to effectively adapt to downstream tasks. Conversely, Instance Discrimination (ID) emphasizes high-level semantics, offering a potential solution to alleviate annotation requirements in MAEs. Although combining these two approaches can address downstream tasks with limited labeled data, naively integrating ID into MAEs leads to extended training times and high computational costs. To address this challenge, we introduce uaMix-MAE, an efficient ID tuning strategy that leverages unsupervised audio mixtures. Utilizing contrastive tuning, uaMix-MAE aligns the representations of pretrained MAEs, thereby facilitating effective adaptation to task-specific semantics. To optimize the model with small amounts of unlabeled data, we propose an audio mixing technique that manipulates audio samples in both input and virtual label spaces. Experiments in low/few-shot settings demonstrate that \modelname achieves 4-6% accuracy improvements over various benchmarks when tuned with limited unlabeled data, such as AudioSet-20K. Code is available at https://github.com/PLAN-Lab/uamix-MAE