Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification

📄 arXiv: 2608.02397v1 📥 PDF

作者: Sajjad Abdoli, Ghassan Al-Sumaidaee, Ahmad ElShiekh, Ahmed Rashad

分类: cs.SD, cs.AI

发布日期: 2026-08-03

💡 一句话要点

提出音频语言模型的分层基准以解决声音源识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频分类 闭集识别 多模态学习 大语言模型 基准测试 细粒度分类 机器学习

📋 核心要点

  1. 现有音频分类方法在细粒度声音源识别任务中表现不一，且缺乏统一的评估标准。
  2. 本研究提出了一个分层基准测试框架，评估多种音频分类模型在闭集声音源识别任务中的表现。
  3. 实验结果显示，Gemini-3.1-Pro-Preview模型在类别级别F1分数上达到85.6%，在细粒度F1分数上表现优异。

📝 摘要（中文）

本研究对十一种音频分类方法进行了基准测试，包括五种任务感知的闭集大语言模型（LLMs）、四种固定词汇标签器、一个零样本音频文本模型和一个音频基础的LLM。我们在2242个音频片段上评估这些方法，涵盖23个细粒度类别和11个类别。由于这些方法在任务接收和输出评分上存在根本性差异，我们将其分为四个评估层级，而不是一个排行榜。最佳模型Gemini-3.1-Pro-Preview在类别级别上达到了85.6%的F1分数。我们还分析了Gemini模型的思维链，发现响应长度与准确性无关，错误答案的自信程度高达92%至100%。

🔬 方法详解

问题定义：本研究旨在解决音频分类领域中不同模型在闭集声音源识别任务中的性能差异问题。现有方法在处理细粒度分类时存在准确性不足和评估标准不统一的痛点。

核心思路：提出一个分层的基准测试框架，将不同音频分类模型分为四个评估层级，以便更全面地评估其在声音源识别任务中的表现。通过这种方式，可以更清晰地识别各模型的优缺点。

技术框架：整体架构包括音频片段的收集、模型的训练与评估、以及结果的分析。具体步骤包括：选择音频分类模型、设计评估指标（如宏观精确率、召回率、F1分数等）、进行实验并记录结果。

关键创新：本研究的创新点在于引入了分层评估方法，能够更细致地分析不同模型在不同任务层级的表现。这种方法与传统的单一排行榜评估方式有本质区别。

关键设计：在实验中，采用了多种音频分类模型，包括Gemini系列、Kimi-Audio等，并设置了不同的评估指标。模型的训练过程中，特别关注了输出的准确性和自信度，确保能够全面反映模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳模型Gemini-3.1-Pro-Preview在类别级别F1分数上达到了85.6%，而Kimi-Audio在其规模下也表现出色，类别级别F1分数为67.5%。此外，SSLAM和CLAP在类别级别上超越了最佳闭集模型，展示了其在零样本条件下的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能音频识别、语音助手、环境声音监测等。通过提高音频分类模型的准确性和可靠性，可以在多个行业中实现更智能的声音处理和分析，提升用户体验和安全性。

📄 摘要（原文）

We benchmark eleven audio classification methods: five task-aware closed-set LLMs (four Gemini models plus open-weight Kimi-Audio-7B-Instruct), four fixed-vocabulary taggers (YAMNet, PANNs, Whisper-AT, and SSLAM), a zero-shot audio-text model (CLAP), and an audio-grounded LLM (BAT). We evaluate them on a closed-set sound-source identification task over 2,242 clips spanning 23 fine-grained classes and 11 categories. Since these methods differ fundamentally in how they receive the task and how outputs are scored, we group them into four evaluation tiers rather than one leaderboard, reporting macro Precision, Recall, F1, and false-negative rate per tier. The best model, Gemini-3.1-Pro-Preview, reaches 85.6 percent category-level F1 and 56.7 percent fine-grained F1. Kimi-Audio is competitive for its size, reaching 67.5 percent category-level F1 and 32.9 percent fine-grained F1, but fails to answer 1.6 percent of samples. SSLAM and CLAP match or exceed the best closed-set model at the category level without seeing the candidate list, but fall behind at the fine-grained level. Analyzing the Gemini models' chain-of-thought across 8,968 responses, we find that response length does not predict accuracy, an apparent "holistic judgment beats detailed analysis" effect is better explained as a difficulty confound, and wrong answers are stated confidently 92 to 100 percent of the time. We report full per-class confusion matrices and metrics for all eleven methods, identify the structural error modes behind most of the accuracy loss between granularities, and give practical guidance for choosing among these method families.