Boosting Audio-visual Zero-shot Learning with Large Language Models

📄 arXiv: 2311.12268v2 📥 PDF

作者: Haoxing Chen, Yaohui Li, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Jun Lan, Huijia Zhu, Weiqiang Wang

分类: cs.CV

发布日期: 2023-11-21 (更新: 2024-04-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出KDA框架以提升音视频零-shot学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频理解 零-shot学习 多模态学习 知识增强 自适应损失

📋 核心要点

  1. 现有音视频零-shot学习方法忽视了类别名称中的模糊事件概念，导致泛化能力不足。
  2. 本文提出KDA框架，通过大型语言模型生成描述性句子，增强模型对新事件内容的学习。
  3. 实验结果显示，KDA在多个数据集上超越了现有方法，显著提升了识别性能。

📝 摘要（中文）

音视频零-shot学习旨在基于配对的音视频序列识别未见类别。现有方法主要关注与类别名称对齐的多模态特征学习，忽视了类别名称中模糊事件概念，导致复杂的网络结构和训练目标。本文提出了一种简单高效的框架——知识增强音视频学习（KDA），通过利用外部知识库帮助模型更有效地学习新事件内容。我们利用大型语言模型生成描述性句子，包含事件类别的重要音视频特征，进一步提出知识感知自适应边际损失，以帮助区分相似事件，显著提升对未见类别的泛化能力。实验结果表明，KDA在三个流行的音视频零-shot学习数据集上超越了现有最先进的方法。

🔬 方法详解

问题定义：本文解决音视频零-shot学习中未见类别识别的挑战，现有方法因忽视类别名称中的模糊概念而导致泛化能力不足。

核心思路：KDA框架通过利用大型语言模型生成描述性句子，帮助模型更好地理解和学习新事件内容，从而提升泛化能力。

技术框架：KDA框架主要包括两个模块：首先，利用大型语言模型生成包含音视频特征的描述性句子；其次，设计知识感知自适应边际损失以区分相似事件。

关键创新：最重要的创新在于将大型语言模型的知识引入音视频学习，生成的描述性句子有效增强了模型对未见类别的理解能力，与传统方法相比，简化了网络结构和训练目标。

关键设计：在损失函数设计上，提出了知识感知自适应边际损失，能够动态调整边际以适应不同类别间的相似性，提升了模型的区分能力。

📊 实验亮点

实验结果表明，KDA在三个音视频零-shot学习数据集上均表现优异，超越了现有最先进的方法，具体提升幅度达到X%（具体数据待补充），验证了其有效性和实用性。

🎯 应用场景

该研究在音视频内容理解、智能监控、自动标注等领域具有广泛的应用潜力。通过提升模型对未见类别的识别能力，可以在实际场景中实现更高效的自动化处理，推动多模态学习的发展。

📄 摘要（原文）

Audio-visual zero-shot learning aims to recognize unseen classes based on paired audio-visual sequences. Recent methods mainly focus on learning multi-modal features aligned with class names to enhance the generalization ability to unseen categories. However, these approaches ignore the obscure event concepts in class names and may inevitably introduce complex network structures with difficult training objectives. In this paper, we introduce a straightforward yet efficient framework called KnowleDge-Augmented audio-visual learning (KDA), which aids the model in more effectively learning novel event content by leveraging an external knowledge base. Specifically, we first propose to utilize the knowledge contained in large language models (LLMs) to generate numerous descriptive sentences that include important distinguishing audio-visual features of event classes, which helps to better understand unseen categories. Furthermore, we propose a knowledge-aware adaptive margin loss to help distinguish similar events, further improving the generalization ability towards unseen classes. Extensive experimental results demonstrate that our proposed KDA can outperform state-of-the-art methods on three popular audio-visual zero-shot learning datasets.Our code will be avaliable at \url{https://github.com/chenhaoxing/KDA}.