OLViT: Multi-Modal State Tracking via Attention-Based Embeddings for Video-Grounded Dialog

📄 arXiv: 2402.13146v1 📥 PDF

作者: Adnen Abdessaied, Manuel von Hochmeister, Andreas Bulling

分类: cs.CV

发布日期: 2024-02-20

备注: COLING 2024

💡 一句话要点

提出OLViT以解决视频对话中的多模态状态跟踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频对话 多模态状态跟踪 对象状态跟踪 语言状态跟踪 注意力机制 大型语言模型 长期推理

📋 核心要点

  1. 现有的视频对话模型在空间和时间定位、长期推理及对象跟踪方面存在显著不足。
  2. OLViT通过对象状态跟踪器和语言状态跟踪器的结合，维护全局对话状态以解决上述问题。
  3. 在DVD和SIMMC 2.1数据集上，OLViT实现了新的最先进性能，显示出其有效性和灵活性。

📝 摘要（中文）

我们提出了对象语言视频变换器（OLViT），这是一个新颖的视频对话模型，旨在通过多模态注意力机制进行对话状态跟踪。现有的视频对话模型在处理需要空间和时间定位、长期时间推理以及跨多个对话轮次的准确对象跟踪时面临挑战。OLViT通过维护基于对象状态跟踪器（OST）和语言状态跟踪器（LST）输出的全局对话状态来解决这些问题。OST关注视频中最重要的对象，而LST则跟踪与先前对话轮次相关的语言共指。与以往工作截然不同，我们的方法具有通用性，能够学习最相关对象和轮次的连续多模态对话状态表示，因而可以无缝集成到大型语言模型（LLMs）中，并在处理不同数据集和任务时提供高度灵活性。在具有挑战性的DVD（响应分类）和SIMMC 2.1（响应生成）数据集上的评估显示，OLViT在这两个数据集上均达到了新的最先进性能。

🔬 方法详解

问题定义：本论文旨在解决视频对话中多模态状态跟踪的挑战，现有方法在空间和时间定位、长期推理及对象跟踪方面表现不佳，导致对话理解能力不足。

核心思路：OLViT的核心思路是通过结合对象状态跟踪器（OST）和语言状态跟踪器（LST），维护一个全局对话状态，从而实现对视频中重要对象和语言共指的有效跟踪。

技术框架：OLViT的整体架构包括两个主要模块：对象状态跟踪器（OST）负责关注视频中的重要对象，语言状态跟踪器（LST）则负责跟踪与对话相关的语言信息。这两个模块共同构成了对话状态的全局表示。

关键创新：OLViT的最重要创新在于其通用性，能够学习连续的多模态对话状态表示，区别于以往方法的局限性，能够适应不同的数据集和任务。

关键设计：在设计上，OLViT采用了多模态注意力机制，确保OST和LST的输出能够有效融合，同时在损失函数的设置上，强调了对话状态的连续性和一致性。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OLViT在DVD数据集和SIMMC 2.1数据集上均取得了新的最先进性能，具体表现为在响应分类任务中提升了XX%，在响应生成任务中提升了YY%。这些结果表明OLViT在多模态对话状态跟踪方面的有效性和优越性。

🎯 应用场景

OLViT在视频对话系统中的应用潜力巨大，能够用于智能助手、教育平台及娱乐互动等领域。其灵活的多模态状态跟踪能力，使其能够适应不同类型的对话场景，提升用户体验。未来，OLViT的技术可以进一步扩展到其他多模态任务，如视频理解和人机交互等。

📄 摘要（原文）

We present the Object Language Video Transformer (OLViT) - a novel model for video dialog operating over a multi-modal attention-based dialog state tracker. Existing video dialog models struggle with questions requiring both spatial and temporal localization within videos, long-term temporal reasoning, and accurate object tracking across multiple dialog turns. OLViT addresses these challenges by maintaining a global dialog state based on the output of an Object State Tracker (OST) and a Language State Tracker (LST): while the OST attends to the most important objects within the video, the LST keeps track of the most important linguistic co-references to previous dialog turns. In stark contrast to previous works, our approach is generic by nature and is therefore capable of learning continuous multi-modal dialog state representations of the most relevant objects and rounds. As a result, they can be seamlessly integrated into Large Language Models (LLMs) and offer high flexibility in dealing with different datasets and tasks. Evaluations on the challenging DVD (response classification) and SIMMC 2.1 (response generation) datasets show that OLViT achieves new state-of-the-art performance across both datasets.