Omni-Interactive Universal Embedder

📄 arXiv: 2608.27044v1 📥 PDF

作者: Wei-Yao Wang, Kazuya Tateishi, Shuyang Cui, Christian Simon, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji

分类: cs.AI, cs.CV

发布日期: 2026-08-27

备注: Preprint

💡 一句话要点

提出Omni-Interactive Universal Embedder以解决多模态交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态表示学习 全交互查询 统一嵌入空间 大型语言模型 音频检索 视觉处理 用户交互

📋 核心要点

  1. 现有的多模态嵌入方法主要集中于语言和图像模态，缺乏对视频和音频的有效支持，限制了用户交互的灵活性。
  2. 本文提出的OmniUE通过学习统一的嵌入空间，结合文本、视频和音频模态，支持用户以多种形式进行交互查询。
  3. 实验结果表明，OmniUE在多模态基准测试中表现优异，文本交互视频基准提升10.5%，音频任务提升1.1%，视觉交互基准提升83.7%。

📝 摘要（中文）

多模态表示学习正从传统的双塔架构转向基于大型语言模型的嵌入方法，尽管取得了一定进展，但现有方法主要集中于语言和图像模态。本文提出了首个Omni-Interactive Universal Embedder（OmniUE），通过利用专门可学习的标记的中间层表示，学习文本、视频和音频的统一嵌入空间，并支持全交互查询，允许用户以文本、视觉兴趣区域和音频片段的形式提供输入。通过引入OmniCHOIR基准，评估OmniUE的全交互能力，结果显示其在多种模态上均超越了现有最先进的基线。

🔬 方法详解

问题定义：本文旨在解决现有多模态嵌入方法在用户交互时对视频和音频模态支持不足的问题，导致用户体验受限。

核心思路：OmniUE通过学习一个统一的嵌入空间，结合文本、视频和音频模态，允许用户以多种形式进行交互查询，从而增强了交互的灵活性和有效性。

技术框架：OmniUE的整体架构包括视觉和音频分割模块，处理用户的多样化交互，并与一个全交互大型语言模型（omni-LLM）结合，通过上下文聚合生成用户条件的任意到任意嵌入。

关键创新：OmniUE的主要创新在于其首次实现了全交互查询能力，支持用户以文本、视觉和音频的多种输入形式进行交互，显著提升了多模态表示学习的能力。

关键设计：在设计上，OmniUE采用了专门的可学习标记来提取中间层表示，并通过上下文聚合机制优化嵌入生成，确保了不同模态之间的有效融合。实验中使用的损失函数和网络结构经过精心调优，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniUE在多模态基准测试中表现突出，文本交互视频基准提升10.5%，音频任务提升1.1%，视觉交互基准提升83.7%，在全交互基准OmniCHOIR上提升24.1%，显示出其在多模态交互中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、内容检索、社交媒体分析等，能够提升用户与多模态内容的交互体验。未来，OmniUE有望推动更广泛的多模态学习研究，促进人机交互的智能化与个性化发展。

📄 摘要（原文）

Multimodal representation learning has been shifting from traditional two-tower architectures to large language model (LLM)-based embedders due to their strong instruction-following capabilities. Despite this progress, existing approaches primarily focus on language and image modalities, which also remain the dominant modalities for user-conditioned interactions in current embedders. In this paper, we propose the first Omni-Interactive Universal Embedder (OmniUE), which not only learns a unified embedding space across text, video, and audio by leveraging intermediate-layer representations from dedicated learnable tokens, but also supports omni-interactive querying, enabling users to provide inputs in the form of text, visual regions of interest, and audio spans. Within OmniUE, visual and audio segmenters process diverse user interactions and integrate them with an omni-LLM to produce user-conditioned any-to-any embeddings via context aggregation. To evaluate OmniUE's omni-interactive capabilities, we introduce OmniCHOIR, benchmarking models for omni-interactive compositional audio retrieval based on the given text, video, and audio as well as unimodal or multimodal interaction prompts. OmniUE consistently surpasses state-of-the-art baselines across diverse modalities, with average improvements of 10.5% on textual-interactive video benchmarks (MMEB-v2-video), 1.1% on audio tasks (MAEB), 83.7% on visual-interactive benchmarks (SCaR), and 24.1% on our omni-interactive OmniCHOIR benchmark. We believe that jointly advancing omni-modal representation learning and omni-interactive querying paves the way toward universal embedders.