Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection

📄 arXiv: 2404.06194v2 📥 PDF

作者: Ting Lei, Shaofeng Yin, Yang Liu

分类: cs.CV

发布日期: 2024-04-09 (更新: 2024-04-10)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CMD-SE框架以解决开放词汇HOI检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇检测 人-物交互 视觉-语言模型 细粒度语义 多层解码

📋 核心要点

  1. 现有的零样本HOI检测器在处理不同距离的人-物对时，使用相同层次的特征图，导致性能不足。
  2. 本文提出CMD-SE框架，通过条件多层解码和细粒度语义增强，利用VLMs来改善HOI检测效果。
  3. 在SWIG-HOI和HICO-DET数据集上的实验结果显示，所提方法在开放词汇HOI检测中取得了最先进的性能。

📝 摘要（中文）

开放词汇人-物交互（HOI）检测关注于通过自然语言检测新颖的HOI，对于理解以人为中心的场景至关重要。然而，现有的零样本HOI检测器往往使用相同层次的特征图来建模不同距离的人-物对，导致在包含不同距离人-物对的场景中表现不佳。此外，这些检测器主要依赖类别名称，忽视了语言所提供的丰富上下文信息，这对于捕捉通常稀有且不易通过类别名称表示的开放词汇概念至关重要。本文提出了一种新颖的端到端开放词汇HOI检测框架，结合条件多层解码和细粒度语义增强（CMD-SE），利用视觉-语言模型（VLMs）的潜力。我们通过在二分匹配过程中引入软约束，针对不同距离的人-物对采用不同层次的特征图建模。此外，通过利用大型语言模型（LLMs），如GPT模型，我们利用其广泛的世界知识生成各种交互的人体部位状态描述，从而整合人体部位的可泛化和细粒度语义以提升交互识别。实验结果表明，我们的方法在SWIG-HOI和HICO-DET两个数据集上达到了最先进的开放词汇HOI检测效果。

🔬 方法详解

问题定义：本文旨在解决开放词汇HOI检测中的性能不足问题，现有方法在处理不同距离的人-物对时使用相同特征图，导致效果不佳。

核心思路：提出CMD-SE框架，通过引入条件多层解码和细粒度语义增强，利用VLMs的潜力来改善对开放词汇HOI的检测。

技术框架：整体架构包括特征提取、条件多层解码和细粒度语义增强三个主要模块。特征提取模块负责从输入图像中提取多层次特征，条件多层解码模块根据人-物对的距离选择相应的特征图，而细粒度语义增强模块则整合语言模型生成的描述。

关键创新：最重要的创新在于通过软约束在二分匹配过程中针对不同距离的人-物对采用不同层次的特征图建模，显著提升了检测性能。

关键设计：在模型设计中，采用了多层特征图以适应不同距离的人-物对，并通过损失函数优化匹配效果，同时利用大型语言模型生成的描述增强了语义信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SWIG-HOI和HICO-DET数据集上的实验结果表明，所提CMD-SE框架在开放词汇HOI检测中达到了最先进的性能，相较于基线方法，性能提升幅度显著，具体数值未知。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景。通过提高开放词汇HOI检测的准确性，可以更好地理解和分析人类行为，为智能系统提供更丰富的上下文信息，进而提升其决策能力和交互体验。

📄 摘要（原文）

Open-vocabulary human-object interaction (HOI) detection, which is concerned with the problem of detecting novel HOIs guided by natural language, is crucial for understanding human-centric scenes. However, prior zero-shot HOI detectors often employ the same levels of feature maps to model HOIs with varying distances, leading to suboptimal performance in scenes containing human-object pairs with a wide range of distances. In addition, these detectors primarily rely on category names and overlook the rich contextual information that language can provide, which is essential for capturing open vocabulary concepts that are typically rare and not well-represented by category names alone. In this paper, we introduce a novel end-to-end open vocabulary HOI detection framework with conditional multi-level decoding and fine-grained semantic enhancement (CMD-SE), harnessing the potential of Visual-Language Models (VLMs). Specifically, we propose to model human-object pairs with different distances with different levels of feature maps by incorporating a soft constraint during the bipartite matching process. Furthermore, by leveraging large language models (LLMs) such as GPT models, we exploit their extensive world knowledge to generate descriptions of human body part states for various interactions. Then we integrate the generalizable and fine-grained semantics of human body parts to improve interaction recognition. Experimental results on two datasets, SWIG-HOI and HICO-DET, demonstrate that our proposed method achieves state-of-the-art results in open vocabulary HOI detection. The code and models are available at https://github.com/ltttpku/CMD-SE-release.