Towards Zero-shot Human-Object Interaction Detection via Vision-Language Integration

📄 arXiv: 2403.07246v1 📥 PDF

作者: Weiying Xue, Qi Liu, Qiwei Xiong, Yuxiao Wang, Zhenao Wei, Xiaofen Xing, Xiangmin Xu

分类: cs.CV

发布日期: 2024-03-12

💡 一句话要点

提出KI2HOI框架以解决零样本人机交互检测问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人机交互 零样本学习 视觉-语言模型 特征学习 自注意力机制 交互表示解码器 深度学习

📋 核心要点

  1. 现有的人机交互检测方法主要依赖于大量的人工标注，限制了其在零样本场景下的应用。
  2. 本文提出的KI2HOI框架通过视觉-语言模型的知识集成，设计了动词特征学习和交互表示解码器，提升了零样本检测能力。
  3. 在HICO-DET和V-COCO数据集上的实验结果显示，KI2HOI在零样本和全监督设置下均优于现有方法。

📝 摘要（中文）

人机交互（HOI）检测旨在定位图像中的人机对并识别其交互类别。现有方法主要依赖于大量的人工HOI标注，限制了其应用。本文提出了一种新颖的框架，称为知识集成到HOI（KI2HOI），有效整合视觉-语言模型的知识，以提升零样本HOI检测能力。具体而言，论文设计了基于视觉语义的动词特征学习模块，通过动词提取解码器将相应的动词查询转换为特定交互类别的表示。此外，创新的交互表示解码器通过交叉注意机制整合空间和视觉特征信息，提取有用区域。实验结果表明，该模型在HICO-DET和V-COCO数据集上优于现有方法。

🔬 方法详解

问题定义：本文旨在解决人机交互检测中的零样本学习问题。现有方法过于依赖人工标注，导致在新场景下的适应性差。

核心思路：提出KI2HOI框架，通过整合视觉-语言模型的知识，利用动词特征学习和交互表示解码器来增强对交互的理解，特别是在缺乏标注数据的情况下。

技术框架：整体架构包括动词特征学习模块、交互表示解码器和自注意力机制。动词特征学习模块负责提取动词特征，而交互表示解码器则通过交叉注意机制整合空间和视觉信息。

关键创新：最重要的创新在于通过视觉语义驱动的动词特征学习和交互表示解码器，显著提升了零样本检测的性能。这一方法与传统依赖大量标注的方式本质上不同。

关键设计：在设计中，采用了加性自注意力机制以生成更全面的视觉表示，并利用CLIP文本编码器的先验知识初始化线性分类器，以增强对交互的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HICO-DET和V-COCO数据集上的实验结果表明，KI2HOI框架在零样本和全监督设置下均显著优于现有方法，具体性能提升幅度达到了XX%（具体数据需参考原文）。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人交互等场景，能够在缺乏标注数据的情况下，实现对人机交互的有效识别与理解，具有重要的实际价值和未来影响。

📄 摘要（原文）

Human-object interaction (HOI) detection aims to locate human-object pairs and identify their interaction categories in images. Most existing methods primarily focus on supervised learning, which relies on extensive manual HOI annotations. In this paper, we propose a novel framework, termed Knowledge Integration to HOI (KI2HOI), that effectively integrates the knowledge of visual-language model to improve zero-shot HOI detection. Specifically, the verb feature learning module is designed based on visual semantics, by employing the verb extraction decoder to convert corresponding verb queries into interaction-specific category representations. We develop an effective additive self-attention mechanism to generate more comprehensive visual representations. Moreover, the innovative interaction representation decoder effectively extracts informative regions by integrating spatial and visual feature information through a cross-attention mechanism. To deal with zero-shot learning in low-data, we leverage a priori knowledge from the CLIP text encoder to initialize the linear classifier for enhanced interaction understanding. Extensive experiments conducted on the mainstream HICO-DET and V-COCO datasets demonstrate that our model outperforms the previous methods in various zero-shot and full-supervised settings.