OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs
作者: Xianyun Sun, Chaoyou Fu, Zhengye Zhang, Feiyang Duan, Qingyuan Cao, Yonghui Niu, Sihang Yuan, Ge Zhang, Caifeng Shan
分类: cs.CV
发布日期: 2026-08-21
备注: Project page: https://xianyunsun.github.io/OmniAssistBench/
💡 一句话要点
提出OmniAssistBench以解决交互式视频助手评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交互式视频助手 全模态大型语言模型 数据集构建 动态用户行为 多轮交互 视频理解 用户目标推导
📋 核心要点
- 现有方法在评估交互式视频助手时面临挑战，静态数据集无法适应动态用户行为变化。
- 论文提出OmniAssistBench，通过反向工程互联网视频构建数据集，模拟用户与助手的连续交互。
- 实验结果显示，Gemini-3-Pro模型得分66.4，表明当前模型在理解用户输入和多轮交互方面仍需改进。
📝 摘要（中文）
近年来，全模态大型语言模型（Omni-LLMs）在实时视频助手方面展现出巨大潜力，能够持续感知环境并指导用户实现特定目标。与传统的被动视频理解不同，交互式助手需要主动结合视觉状态、用户目标和先前知识提供有效帮助。评估这一能力面临挑战，因为模型的不可预测响应会动态改变用户后续行为，静态离线数据集无法满足这一需求。为了解决这一瓶颈，本文提出了OmniAssistBench，并通过反向工程现有互联网视频构建数据集，模拟连续交互。实验结果表明，专有模型Gemini-3-Pro的得分为66.4，而开源模型Qwen3-Omni-Instruct的得分为51.2，显示出当前模型在理解用户输入和多轮交互中仍有显著改进空间。
🔬 方法详解
问题定义：本文旨在解决交互式视频助手评估中的动态用户行为变化问题。现有方法依赖静态数据集，无法有效捕捉用户与助手之间的实时互动。
核心思路：论文通过构建OmniAssistBench数据集，利用互联网视频的反向工程，提供预定义的用户目标和交互路径，以确保模型在评估时能够沿着相同的路线指导用户。
技术框架：整体架构包括数据集构建、用户目标推导和视频片段分割。数据集通过多轮剪辑模拟用户与助手的连续交互，确保评估的真实性和有效性。
关键创新：最重要的创新在于通过反向工程构建数据集，解决了传统方法无法处理的交互路径多样性问题，使得模型能够在相同目标下沿着特定路径进行评估。
关键设计：在数据集构建过程中，采用了逻辑推导用户目标的方式，并进行了多轮视频片段的分割，以模拟真实的交互场景。这一过程耗费了超过1000小时的专家人力，确保数据集的高质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，专有模型Gemini-3-Pro在OmniAssistBench上得分66.4，明显高于开源模型Qwen3-Omni-Instruct的51.2。这表明，尽管当前模型在理解用户输入方面有所进步，但在多轮交互和视觉提示的处理上仍存在显著改进空间。
🎯 应用场景
该研究的潜在应用领域包括智能家居助手、教育培训、虚拟客服等场景，能够为用户提供更为精准和有效的实时指导。随着技术的进步，未来可能在更多领域实现智能化交互，提升用户体验和工作效率。
📄 摘要（原文）
Recent omni-modal large language models (Omni-LLMs) show great potential as real-time video assistants, which continuously perceive environments and guide users to achieve specific goals. Unlike traditional passive video understanding, interactive assistants should actively combine visual states, user goals, and prior knowledge to provide effective help. Evaluating this is rather challenging, as the model's unpredictable response dynamically changes the user's subsequent actions, which static offline datasets cannot accommodate. To address this bottleneck, we introduce OmniAssistBench. To solve the issue of diverging interaction paths where the same user goal can be achieved through various methods, we provide models with predefined priors derived from the source video, requiring them to guide users along the exact same routes. Since real interaction videos are rare, we construct the dataset by reverse-engineering existing Internet videos. We deduce logical user goals and segment the videos into multi-turn clips to simulate continuous interactions. This rigorous pipeline required over 1000 expert person-hours to build the dataset. Results show that the proprietary Gemini-3-Pro reaches 66.4 out of the max point of 100, while the open-source Qwen3-Omni-Instruct achieves 51.2. Although current models generally understand user inputs, they frequently provide incorrect or incomplete answers. Specifically, they struggle with visual prompts (e.g., hand gestures), fail to maintain historical context during multi-turn interactions, and fail to delay response until the target event. Results indicate substantial room for improvement before models can become reliable assistants.