Siamese Vision Transformers are Scalable Audio-visual Learners
作者: Yan-Bo Lin, Gedas Bertasius
分类: cs.CV, cs.SD, eess.AS
发布日期: 2024-03-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出音视频共享网络以解决传统方法的可扩展性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音视频处理 共享网络 视觉变换器 对比学习 多模态学习
📋 核心要点
- 现有音视频方法依赖独立的音频和视觉骨干，导致成本高且难以扩展。
- 提出音视频西米尔网络（AVSiam），通过共享视觉变换器骨干来处理音频和视觉输入，提高参数效率。
- AVSiam在AudioSet和VGGSound上实现了竞争力的音视频分类和检索结果，展示了其有效性。
📝 摘要（中文）
传统的音视频方法依赖于独立的音频和视觉骨干网络，这在成本和可扩展性上存在不足。本文提出了一种音视频西米尔网络（AVSiam），通过使用单一共享的视觉变换器骨干来处理音频和视觉输入，从而提高参数效率，减少GPU内存占用，并支持更大数据集和模型规模的扩展。我们采用对比音视频匹配目标进行预训练，并引入多比率随机掩蔽方案，使模型能够处理更大的音视频实例批次，增强对比学习的效果。尽管使用共享骨干，AVSiam在音视频分类和检索任务上在AudioSet和VGGSound数据集上取得了竞争力甚至更好的结果。
🔬 方法详解
问题定义：传统音视频处理方法依赖于独立的音频和视觉网络，导致资源消耗高且难以扩展，限制了其在大规模数据集上的应用。
核心思路：本文提出的AVSiam网络通过共享视觉变换器（ViT）骨干，能够同时处理音频和视觉输入，从而提高了模型的参数效率和可扩展性。
技术框架：AVSiam的整体架构包括一个共享的ViT骨干，采用对比学习的方式进行音视频匹配预训练，并结合多比率随机掩蔽策略来增强模型的学习能力。
关键创新：AVSiam的最大创新在于使用单一的共享骨干网络处理多模态输入，这与以往需要独立骨干的音视频方法形成了鲜明对比，显著降低了计算资源需求。
关键设计：模型采用对比音视频匹配损失函数，结合多比率随机掩蔽策略，能够有效处理更大的音视频实例批次，提升对比学习效果。
📊 实验亮点
在实验中，AVSiam在AudioSet和VGGSound数据集上实现了优于以往方法的音视频分类和检索效果，展示了其在处理多模态输入时的强大能力。具体而言，AVSiam在多个基准测试中表现出竞争力，证明了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括音视频检索、自动内容生成和多模态学习等。通过提高音视频处理的效率和可扩展性，AVSiam可在大规模数据集上实现更好的性能，推动相关领域的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Traditional audio-visual methods rely on independent audio and visual backbones, which is costly and not scalable. In this work, we investigate using an audio-visual siamese network (AVSiam) for efficient and scalable audio-visual pretraining. Our framework uses a single shared vision transformer backbone to process audio and visual inputs, improving its parameter efficiency, reducing the GPU memory footprint, and allowing us to scale our method to larger datasets and model sizes. We pretrain our model using a contrastive audio-visual matching objective with a multi-ratio random masking scheme, which enables our model to process larger audio-visual instance batches, helpful for contrastive learning. Unlike prior audio-visual methods, our method can robustly handle audio, visual, and audio-visual inputs with a single shared ViT backbone. Furthermore, despite using the shared backbone for both modalities, AVSiam achieves competitive or even better results than prior methods on AudioSet and VGGSound for audio-visual classification and retrieval. Our code is available at https://github.com/GenjiB/AVSiam