AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

📄 arXiv: 2606.24286v1 📥 PDF

作者: Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

分类: cs.CL, cs.CV

发布日期: 2026-06-23

💡 一句话要点

提出AVOC以解决长视频理解中的信息冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态学习 信息检索 令牌压缩 大型语言模型 音视频处理 深度学习

📋 核心要点

  1. 现有的多模态大型语言模型在长视频理解中面临上下文窗口限制和信息冗余问题，导致理解效果不佳。
  2. AVOC框架通过引入可学习的令牌压缩模块，将多模态令牌压缩视为top-$K$检索问题，有效提取关键信息。
  3. 实验结果显示，AVOC在OmniVideoBench和LVOmniBench上分别提高了4.9和5.5个百分点，展现出卓越的性能。

📝 摘要（中文）

多模态大型语言模型在短视频理解方面取得了显著进展，但在长视频理解中仍面临上下文窗口有限和信息冗余严重的挑战。为了解决这些瓶颈，本文提出了AVOC框架，旨在增强多模态大型语言模型的长视频理解能力。AVOC引入了一个可学习的令牌压缩模块，重新将多模态令牌压缩视为一个top-$K$检索问题，旨在从大量候选令牌中检索出最佳支持用户查询的紧凑子集。通过借鉴信息检索中的相关性、重要性和多样性三个经典标准，AVOC为音视频理解定制了相应机制，并将其整合为统一的检索式压缩管道。实验结果表明，AVOC在长视频基准测试中实现了最先进的性能，超越第二名模型4.9和5.5个百分点。

🔬 方法详解

问题定义：本文旨在解决长视频理解中的信息冗余和上下文窗口限制问题。现有方法在处理长视频时，无法有效提取关键信息，导致理解效果不理想。

核心思路：AVOC框架的核心思想是通过可学习的令牌压缩模块，将多模态令牌压缩视为top-$K$检索问题，从而在固定的上下文预算内选择最具信息量的令牌，支持用户查询。

技术框架：AVOC的整体架构包括三个主要模块：多模态编码器、令牌压缩模块和大型语言模型主干。令牌压缩模块负责从候选令牌中检索出最相关、最重要和最具多样性的子集。

关键创新：AVOC的主要创新在于将多模态令牌压缩重新定义为检索问题，并结合信息检索中的经典标准，设计出适用于音视频理解的定制机制。这与现有方法的直接压缩策略形成了本质区别。

关键设计：在设计上，AVOC采用了特定的损失函数来优化令牌选择过程，并在网络结构中引入了多模态特征融合机制，以提升信息提取的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AVOC在长视频基准测试中表现出色，分别在OmniVideoBench和LVOmniBench上超越第二名模型4.9和5.5个百分点，展示了其在长视频理解任务中的显著优势。此外，AVOC在处理长达一小时的音视频针尖任务时也保持了稳健的性能。

🎯 应用场景

AVOC框架在长视频理解领域具有广泛的应用潜力，尤其适用于视频检索、内容推荐和智能监控等场景。其高效的信息提取能力能够提升用户体验，推动多模态交互技术的发展，未来可能在教育、娱乐和安全等多个领域产生深远影响。

📄 摘要（原文）

Multimodal Large Language Models have achieved remarkable progress in short-form audio-video understanding, yet long-form audio-video comprehension remains challenged by limited context windows and severe information redundancy. To address these bottlenecks, we propose AVOC, a framework for long-form audio-video understanding in Omni-modal Large Language Models. AVOC introduces a learnable token compression module between the modality encoders and the LLM backbone. We reframe multimodal token compression as a top-$K$ retrieval problem: given a fixed context budget, the module must retrieve a compact subset of tokens that best supports answering the user query. We draw inspiration from three classical Information Retrieval criteria for selecting informative units from a large candidate pool: relevance, importance, and diversity. AVOC instantiates each criterion as a tailored mechanism for audio-video understanding, and integrates them into a unified retrieval-style compression pipeline. Experiments show that AVOC achieves state-of-the-art performance on long-form audio-video benchmarks, surpassing the second-best model by 4.9 and 5.5 points in average accuracy on OmniVideoBench and LVOmniBench, respectively. Moreover, AVOC maintains robust performance on Audio-Video Needle-in-a-Haystack task at durations up to one hour.