HOI-Ref: Hand-Object Interaction Referral in Egocentric Vision

📄 arXiv: 2404.09933v1 📥 PDF

作者: Siddhant Bansal, Michael Wray, Dima Damen

分类: cs.CV

发布日期: 2024-04-15

备注: Project Page: https://sid2697.github.io/hoi-ref/

💡 一句话要点

提出HOI-Ref任务以解决自我视角下手物交互识别问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉语言模型 手物交互 自我视角 数据集构建 模型训练 性能提升

📋 核心要点

  1. 现有的视觉语言模型在自我视角图像中无法有效识别手与物体的交互，导致指称性能不足。
  2. 本文提出HOI-Ref任务，通过构建HOI-QA数据集，专注于手与物体的交互理解，利用VLMs进行训练。
  3. 在HOI-QA数据集上微调后，VLM4HOI在手与物体的指称性能上提升了27.9%，交互指称性能提升了26.7%。

📝 摘要（中文）

大型视觉语言模型（VLMs）已成为视觉问答、物体识别和空间指称等任务的主流方法。本文提出了HOI-Ref任务，旨在理解自我视角图像中手与物体之间的交互。为支持HOI-Ref，我们构建了HOI-QA数据集，包含390万对问答，用于训练和评估VLMs。数据集中的问题涉及手、物体及其交互的定位。我们在该数据集上训练了首个HOI-Ref VLM，称为VLM4HOI。结果表明，针对第三人称图像训练的VLM在自我视角图像中无法有效识别和指称手与物体，而在我们的HOI-QA数据集上微调后，手与物体的指称性能提高了27.9%，交互指称性能提高了26.7%。

🔬 方法详解

问题定义：本文旨在解决自我视角图像中手与物体交互的识别与指称问题。现有方法在处理此类图像时表现不佳，无法有效识别和指称手与物体的关系。

核心思路：通过构建HOI-QA数据集，包含大量关于手、物体及其交互的问题，来训练视觉语言模型，以提高其在自我视角图像中的指称能力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，收集和标注数据集，然后在此数据集上训练VLM，最后通过标准评估指标验证模型性能。

关键创新：最重要的创新在于HOI-QA数据集的构建和VLM4HOI模型的训练，使得模型能够专注于自我视角下的手物交互，从而显著提升了指称性能。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，以优化手与物体的识别和交互指称能力，确保模型能够有效处理自我视角图像中的复杂场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VLM4HOI在HOI-QA数据集上微调后，手与物体的指称性能提高了27.9%，交互指称性能提高了26.7%。这些提升表明，针对自我视角图像的专门训练显著改善了模型的识别能力，超越了传统的第三人称图像训练方法。

🎯 应用场景

该研究的潜在应用领域包括人机交互、增强现实和机器人视觉等。通过提高自我视角下的手物交互识别能力，可以在智能助手、虚拟现实和自动化系统中实现更自然的交互方式，提升用户体验和系统效率。

📄 摘要（原文）

Large Vision Language Models (VLMs) are now the de facto state-of-the-art for a number of tasks including visual question answering, recognising objects, and spatial referral. In this work, we propose the HOI-Ref task for egocentric images that aims to understand interactions between hands and objects using VLMs. To enable HOI-Ref, we curate the HOI-QA dataset that consists of 3.9M question-answer pairs for training and evaluating VLMs. HOI-QA includes questions relating to locating hands, objects, and critically their interactions (e.g. referring to the object being manipulated by the hand). We train the first VLM for HOI-Ref on this dataset and call it VLM4HOI. Our results demonstrate that VLMs trained for referral on third person images fail to recognise and refer hands and objects in egocentric images. When fine-tuned on our egocentric HOI-QA dataset, performance improves by 27.9% for referring hands and objects, and by 26.7% for referring interactions.