AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization

📄 arXiv: 2607.00726v1 📥 PDF

作者: Tianhong Zhou, Mingyang Han, Boyu Li, Yuxuan Jiang, Jiaxin Ye, Dongxiao Wang, Haoxiang Shi, Kunpeng Wang, Jun Song, Cheng Yu, Bo Zheng

分类: cs.CV, cs.SD

发布日期: 2026-07-01

备注: Accepted by Interspeech 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AV-SyncBench以解决音视频同步评估的偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频同步 多模态评估 特征提取 真实场景视频 基准测试 语义一致性 时间偏移检测

📋 核心要点

  1. 现有的音视频同步评估方法存在维度偏差，无法独立评估时间和语义一致性，限制了模型性能的全面评估。
  2. 本文提出AV-SyncBench基准，首次实现音视频同步的时间和语义评估分离，提供了更为全面的评估框架。
  3. 通过对3,269个视频和38,390个样本的评估，本文展示了所提基准在特征质量量化方面的有效性，提升了模型评估的准确性。

📝 摘要（中文）

音视频特征提取是多模态理解与生成任务的基础。然而，现有的特征提取模型评估协议存在维度偏差，通常只关注语义匹配或时间偏移检测。此外，数据构建仍然耦合，无法独立评估时间和语义一致性。为此，本文提出了AV-SyncBench，这是第一个完全分离音视频同步的时间和语义评估的基准。该基准基于真实场景视频，涵盖语音、音乐和声音，包含10个场景和5个挑战任务。数据经过自动过滤和人工验证，以确保屏幕上的声音源。基准包含3,269个视频和38,390个样本，并评估了五个代表性模型，以量化对齐和下游任务的特征质量。

🔬 方法详解

问题定义：本文旨在解决现有音视频同步评估方法的维度偏差问题，现有方法通常只关注语义匹配或时间偏移，无法独立评估时间和语义的一致性。

核心思路：AV-SyncBench基准通过分离时间和语义评估，提供了一个全面的评估框架，允许对音视频同步进行独立的、系统的评估。

技术框架：该基准基于真实场景视频构建，涵盖了语音、音乐和声音等多种类型，包含10个场景和5个挑战任务，数据经过自动过滤和人工验证。

关键创新：AV-SyncBench是第一个完全分离音视频同步评估的基准，解决了现有方法耦合评估的问题，使得时间和语义一致性可以独立评估。

关键设计：基准包含3,269个视频和38,390个样本，评估过程中采用了多种代表性模型，量化特征质量，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，AV-SyncBench基准对五个代表性模型进行了评估，结果显示在音视频同步特征质量量化方面，相较于传统方法有显著提升，具体性能数据和提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、视频编辑、智能监控等，能够有效提升音视频同步的质量和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Audio-visual feature extraction is a fundamental component of multimodal understanding and generation tasks. However, existing evaluation protocols for feature extraction models exhibit dimensional bias, typically focusing on either semantic matching or temporal offset detection. Moreover, their data construction remains coupled, preventing independent assessment of temporal and semantic consistency. We propose AV-SyncBench, the first benchmark to fully separate temporal and semantic evaluation for audio-visual synchronization. Built from in-the-wild videos, it spans Voice, Music, and Sound across 10 scenarios and 5 challenge tasks. Data are automatically filtered and manually verified to ensure on-screen sound sources. The benchmark contains 3,269 videos and 38,390 samples, and we evaluate five representative models to quantify feature quality for alignment and downstream tasks. The code and dataset are available at: https://fgt7t6g.github.io/AV-SyncBench.