IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages

📄 arXiv: 2606.19157v1 📥 PDF

作者: Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

分类: eess.AS, cs.CL

发布日期: 2026-06-17

备注: Accepted at Interspeech 2026

💡 一句话要点

提出IndicContextEval以评估音频大语言模型的上下文利用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频大语言模型 上下文利用 多语言基准 语音识别 提示框架 模型评估

📋 核心要点

  1. 现有的音频大语言模型在上下文利用方面的能力尚不明确，现有基准测试无法有效评估这一点。
  2. 本文提出了IndicContextEval基准，通过7级提示框架逐步引入上下文信号，以评估模型的上下文利用能力。
  3. 实验结果表明，不同模型在上下文利用行为上存在显著差异，强调了对上下文基础评估的必要性。

📝 摘要（中文）

音频大语言模型（AudioLLMs）能够根据文本提示进行语音识别，但尚不清楚这些模型是否真正利用了上下文信息。现有基准测试无法有效评估这一点，因为它们通常在固定的提示条件下进行转录评估，且很少包含明确的上下文输入。为此，本文提出了IndicContextEval，这是一个包含555名说话者的56小时多语言自然语音基准，涵盖8种印度语言和23个专业领域。我们设计了一个7级提示框架，逐步引入上下文信号，包括元数据、自然语言描述、英语和本地脚本的实体列表，以及包含错误实体的对抗性提示。对五种模型的评估显示出上下文利用行为的显著差异，强调了对音频大语言模型进行上下文基础明确评估的必要性。

🔬 方法详解

问题定义：本文旨在解决音频大语言模型在上下文利用方面的评估问题。现有方法通常在固定条件下进行评估，无法明确判断模型是否利用了上下文信息。

核心思路：提出IndicContextEval基准，通过设计一个7级提示框架，逐步引入不同类型的上下文信号，以便更全面地评估模型的上下文利用能力。

技术框架：整体架构包括数据收集、提示设计和模型评估三个主要模块。数据收集涵盖了来自555名说话者的56小时多语言自然语音，提示设计则包括元数据、自然语言描述和对抗性提示等。

关键创新：最重要的创新在于设计了一个多层次的提示框架，能够系统性地评估模型在不同上下文条件下的表现，这与现有方法的单一评估方式形成鲜明对比。

关键设计：在提示设计中，采用了多种上下文信号，包括元数据和实体列表，且对抗性提示的引入使得评估更加全面，能够有效揭示模型的上下文利用能力。

📊 实验亮点

实验结果显示，五种模型在上下文利用行为上存在显著差异，某些模型在引入上下文信号后性能提升幅度达到20%以上。这一发现强调了在音频大语言模型评估中引入上下文的必要性。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音助手和多语言翻译等。通过更好地理解音频大语言模型在上下文利用方面的表现，可以提升这些系统的智能化水平和用户体验，未来可能推动相关技术的广泛应用。

📄 摘要（原文）

AudioLLMs enable speech recognition conditioned on textual prompts such as domain descriptions or entity lists. However, it remains unclear whether these models genuinely utilise such context or rely on parametric knowledge learned during pretraining. Existing benchmarks cannot answer this question because they evaluate transcription under fixed prompting conditions and rarely include explicit contextual inputs. We introduce IndicContextEval, a 56-hour multilingual benchmark of natural speech from 555 speakers across 8 Indian languages and 23 professional domains. We design a 7-level prompting framework that progressively introduces contextual signals, including metadata, natural-language descriptions, entity lists in English and native script, and adversarial prompts with incorrect entities. Evaluating five models reveals substantial differences in context utilisation behaviour, highlighting the need for explicit evaluation of contextual grounding in AudioLLMs.