Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models

作者: Yichao Cao, Qingfei Tang, Xiu Su, Chen Song, Shan You, Xiaobo Lu, Chang Xu

分类: cs.CV

发布日期: 2023-11-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniHOI以解决开放世界人机交互检测问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 开放世界 视觉-语言模型 大型语言模型 高层关系提取 提示学习 零样本学习

📋 核心要点

1. 现有的人机交互检测方法在开放世界背景下面临复杂性和多样性带来的标注和识别挑战。
2. 本文提出的UniHOI方法利用视觉-语言基础模型和大型语言模型，进行开放类别交互识别。
3. 实验结果表明，UniHOI在监督和零样本设置下均显著超越现有方法，展示了其有效性。

📝 摘要（中文）

人机交互（HOI）检测旨在理解人类与物体之间复杂的关系，预测<人，动作，物体>三元组，并为众多计算机视觉任务奠定基础。然而，现实世界中人机交互的复杂性和多样性对标注和识别提出了重大挑战，尤其是在开放世界背景下的交互识别。本文提出了一种名为UniHOI的方法，通过视觉-语言基础模型和大型语言模型（LLMs）进行开放类别交互识别。我们深入分析了视觉HOI检测器中固有的三层特征，并提出了一种针对VL基础模型的高层关系提取方法，即HO提示学习。我们的设计包括一个HO提示引导解码器（HOPD），促进基础模型中高层关系表示与图像中各种HO对的关联。此外，我们利用LLM（如GPT）进行交互解释，为复杂HOI生成更丰富的语言理解。我们的高效架构设计和学习方法有效释放了VL基础模型和LLMs的潜力，使UniHOI在监督和零样本设置下超越所有现有方法。

🔬 方法详解

问题定义：本文旨在解决开放世界中人机交互（HOI）检测的复杂性和多样性问题。现有方法在处理多样化的交互时，往往面临标注困难和识别准确性不足的痛点。

核心思路：UniHOI通过结合视觉-语言基础模型和大型语言模型，提出了一种新的HO提示学习方法，以增强对高层关系的提取和理解。这样的设计使得模型能够更好地处理开放类别的交互识别。

技术框架：UniHOI的整体架构包括HO提示引导解码器（HOPD），该模块负责将基础模型中的高层关系表示与图像中的人机对进行关联。此外，模型支持两种输入类型：交互短语或解释性句子，以适应不同的应用场景。

关键创新：本文的主要创新在于HO提示学习方法的提出，通过引导解码器实现高层关系的提取，显著提升了人机交互的识别能力。这一方法与传统的检测方法在处理开放类别交互时有本质区别。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化高层关系的提取和交互理解。同时，使用大型语言模型（如GPT）进行交互解释，增强了模型的语言理解能力。

🖼️ 关键图片

📊 实验亮点

实验结果显示，UniHOI在多个基准数据集上均超越了现有的所有方法，尤其在零样本设置下，性能提升幅度达到显著的水平，验证了其在开放类别交互识别中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互、虚拟助手等，能够有效提升机器对人机交互的理解能力，进而推动智能系统的智能化和人性化发展。未来，随着技术的进步，UniHOI有望在更广泛的开放世界场景中应用，促进人机协作的进一步发展。

📄 摘要（原文）

Human-object interaction (HOI) detection aims to comprehend the intricate relationships between humans and objects, predicting $$ triplets, and serving as the foundation for numerous computer vision tasks. The complexity and diversity of human-object interactions in the real world, however, pose significant challenges for both annotation and recognition, particularly in recognizing interactions within an open world context. This study explores the universal interaction recognition in an open-world setting through the use of Vision-Language (VL) foundation models and large language models (LLMs). The proposed method is dubbed as \emph{\textbf{UniHOI}}. We conduct a deep analysis of the three hierarchical features inherent in visual HOI detectors and propose a method for high-level relation extraction aimed at VL foundation models, which we call HO prompt-based learning. Our design includes an HO Prompt-guided Decoder (HOPD), facilitates the association of high-level relation representations in the foundation model with various HO pairs within the image. Furthermore, we utilize a LLM (\emph{i.e.} GPT) for interaction interpretation, generating a richer linguistic understanding for complex HOIs. For open-category interaction recognition, our method supports either of two input types: interaction phrase or interpretive sentence. Our efficient architecture design and learning methods effectively unleash the potential of the VL foundation models and LLMs, allowing UniHOI to surpass all existing methods with a substantial margin, under both supervised and zero-shot settings. The code and pre-trained weights are available at: \url{https://github.com/Caoyichao/UniHOI}.