Mind The Gap (MTG-AD): Dataset and Fine-grained Evaluation for End-to-End Inline Audio Descriptions
作者: Subhashini Venugopalan, Jenny Tan, Taylor Roper, Jimmy Tobin, Anton Kast, Alicia Martin, Sam Sepah, Amy Pavel
分类: cs.CV, cs.AI, cs.HC
发布日期: 2026-10-29
备注: NeurIPS 2026 Evaluations & Datasets Track, camera ready
期刊: Advances in Neural Information Processing Systems 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出MTG-AD以解决盲人用户的音频描述生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频描述 多模态学习 无障碍技术 用户生成内容 评估框架 机器学习 视觉媒体 盲人辅助
📋 核心要点
- 现有方法在生成内联音频描述时，尤其是针对用户生成内容的表现不足，导致盲人用户的体验不佳。
- 论文提出MTG-AD数据集和MTG-AD-Eval评估框架，旨在提供高质量的音频描述生成基准和评估标准。
- 实验结果显示，尽管MLLM在描述准确性和减少重叠方面表现良好，但在叙事流畅性上仍需改进。
📝 摘要（中文）
音频描述（AD）对于使视觉媒体对盲人和低视力用户可及至关重要。尽管多模态大型语言模型（MLLMs）为按需生成音频描述提供了可扩展的解决方案，但其在“内联”音频描述方面的表现仍未得到充分探索。本文介绍了MTG-AD，一个包含36小时视频的专业注释数据集，旨在为此任务提供高质量基准。同时，我们提出了MTG-AD-Eval，一个基于音频描述专家指南的评估框架，提供细粒度、无参考的可操作性指标。我们的分析表明，尽管模型能够准确描述视觉事件并显著减少语音重叠，但在叙事节奏和流畅性方面仍存在差距。最后，我们的自动化指标与人类质量评分显著相关，表明MLLM生成的音频描述对理解非常有益。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在生成内联音频描述时的不足，尤其是在用户生成内容中，现有方法未能有效适应视频中的自然静默。
核心思路：通过引入MTG-AD数据集和MTG-AD-Eval评估框架，提供高质量的音频描述生成基准，并通过无参考的可操作性指标来评估和改进模型性能。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集由盲人和视力正常的专业人员共同创建，确保描述的质量和适用性。评估框架则通过将生成的脚本转化为音频轨道，评估其与原视频静默的契合度。
关键创新：最重要的技术创新在于提出了无参考的评估指标，能够有效评估生成音频描述的质量，并与人类评分显著相关。与现有方法相比，这种评估方式更具实用性和可操作性。
关键设计：在数据集构建中，采用了专业注释和多样化视频内容，确保了数据的代表性。评估框架中，设计了细粒度的指标，能够捕捉到叙事节奏和流畅性等关键因素。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管MLLM在视觉事件描述的准确性上表现良好，且显著减少了语音重叠，但在叙事节奏和流畅性方面仍存在不足。我们的自动化评估指标与人类评分高度相关，显示出MLLM生成的音频描述在理解上对用户非常有益。
🎯 应用场景
该研究的潜在应用领域包括盲人辅助技术、教育和娱乐行业。通过提供高质量的音频描述，能够显著提升盲人和低视力用户的媒体体验，促进信息的平等获取。未来，该技术可扩展至更多类型的视觉内容，进一步推动无障碍技术的发展。
📄 摘要（原文）
Audio descriptions (AD) are essential for making visual media accessible to blind and low-vision (BLV) users. While Multimodal Large Language Models (MLLMs) offer a scalable solution for generating audio descriptions on-demand, their performance on ``inline'' audio descriptions -- which must fit within existing silences in a video -- remains under-explored, particularly for diverse user-generated content (UGC). We present a comprehensive investigation into MLLM-generated inline audio descriptions. First, we introduce MTG-AD, a professionally annotated dataset of 36 hours of videos, each averaging $\sim$5 mins. and 8k+ descriptions in total, co-created by paired blind and sighted AD professionals to provide a high-quality benchmark for this task. Second, we propose MTG-AD-Eval, an evaluation framework based on audio description expert guidelines that provides fine-grained, reference-free actionable metrics for model improvement. Crucially, our framework evaluates the end-to-end task: it renders the generated scripts into audio tracks to assess their fit within the original video's natural silences, minimizing disruptive overlaps. Our analysis across frontier MLLMs reveals that while models accurately describe visual events and substantially reduce speech overlaps, gaps persist in narrative pacing and flow. Finally, we empirically validate that our automated and reference-free metrics correlate significantly with human quality ratings from sighted raters and 7 BLV participants, finding that while users narrowly prefer human-authored audio descriptions, they find MLLM-generated audio descriptions highly beneficial for comprehension. We provide actionable system design guidance and release MTG-AD at https://hf.co/datasets/google/mind-the-gap-inline-ad and MTG-AD-Eval at https://github.com/google/mtg-ad.