FreeA: Human-object Interaction Detection using Free Annotation Labels

📄 arXiv: 2403.01840v2 📥 PDF

作者: Qi Liu, Yuxiao Wang, Xinyu Jiang, Wolin Liang, Zhenao Wei, Yu Lei, Nan Zhuang, Weiying Xue

分类: cs.CV, cs.AI

发布日期: 2024-03-04 (更新: 2025-05-16)

💡 一句话要点

提出FreeA以解决人机交互检测中的标注依赖问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人机交互 弱监督学习 自适应生成 知识掩蔽 交互相关性匹配

📋 核心要点

  1. 现有的人机交互检测方法依赖于大量人工标注，导致标注成本高且效率低。
  2. FreeA通过自适应生成HOI标签，利用文本-图像模型和知识掩蔽技术，减少人工干预。
  3. 在HICO-DET和V-COCO数据集上，FreeA分别提升了13.29和17.30的mAP，显示出显著的性能提升。

📝 摘要（中文）

近年来的人机交互（HOI）检测方法依赖于大量人工标注的图像数据集，这需要耗费大量人力。本文提出了一种新颖的自适应、语言驱动的HOI检测方法FreeA。该方法利用文本-图像模型的适应性生成潜在的HOI标签，无需人工标注。具体而言，FreeA将人机对的图像特征与HOI文本模板对齐，并采用基于知识的掩蔽技术减少不太可能的交互。此外，FreeA实现了一种匹配交互相关性的方法，以提高与特定动作相关的行为的概率，从而改善生成的HOI标签。在两个基准数据集上的实验表明，FreeA在弱监督HOI竞争者中实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决人机交互检测中对大量人工标注数据的依赖问题。现有方法通常需要耗费大量人力进行标注，限制了其应用范围和效率。

核心思路：FreeA的核心思想是利用文本-图像模型的自适应能力，自动生成潜在的HOI标签，从而减少对人工标注的需求。通过对齐图像特征与HOI文本模板，FreeA能够有效识别和生成交互标签。

技术框架：FreeA的整体架构包括图像特征提取、文本模板对齐、知识掩蔽和交互相关性匹配等主要模块。首先提取图像中的人机对特征，然后与预定义的HOI文本模板进行对齐，接着应用知识掩蔽技术来过滤不可能的交互，最后通过匹配交互相关性来增强标签生成的准确性。

关键创新：FreeA的主要创新在于其自适应生成HOI标签的能力，尤其是通过知识掩蔽技术和交互相关性匹配来提高标签的准确性。这与传统方法依赖人工标注的方式形成鲜明对比。

关键设计：在技术细节上，FreeA采用了特定的损失函数来优化标签生成过程，并设计了适合于人机交互特征的网络结构，以确保高效的特征提取和准确的标签生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FreeA在HICO-DET和V-COCO数据集上分别实现了+13.29（159%提升）和+17.30（98%提升）的mAP，相较于最新的弱监督模型，显示出显著的性能优势。此外，相较于最新的弱监督+模型，FreeA也分别提升了+7.19（28%提升）和+14.69（34%提升）的mAP，证明了其在交互动作定位和分类上的准确性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景。通过减少对人工标注的依赖，FreeA能够加速HOI检测技术的普及与应用，提升智能系统的交互能力和智能化水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent human-object interaction (HOI) detection methods depend on extensively annotated image datasets, which require a significant amount of manpower. In this paper, we propose a novel self-adaptive, language-driven HOI detection method, termed FreeA. This method leverages the adaptability of the text-image model to generate latent HOI labels without requiring manual annotation. Specifically, FreeA aligns image features of human-object pairs with HOI text templates and employs a knowledge-based masking technique to decrease improbable interactions. Furthermore, FreeA implements a proposed method for matching interaction correlations to increase the probability of actions associated with a particular action, thereby improving the generated HOI labels. Experiments on two benchmark datasets showcase that FreeA achieves state-of-the-art performance among weakly supervised HOI competitors. Our proposal gets +\textbf{13.29} (\textbf{159\%$\uparrow$}) mAP and +\textbf{17.30} (\textbf{98\%$\uparrow$}) mAP than the newest Weakly'' supervised model, and +\textbf{7.19} (\textbf{28\%$\uparrow$}) mAP and +\textbf{14.69} (\textbf{34\%$\uparrow$}) mAP than the latestWeakly+'' supervised model, respectively, on HICO-DET and V-COCO datasets, more accurate in localizing and classifying the interactive actions. The source code will be made public.