Improving and Evaluating Hand-Object Interaction Detection

📄 arXiv: 2606.17384v1 📥 PDF

作者: Ahmad Darkhalil, Dima Damen, David Fouhey

分类: cs.CV

发布日期: 2026-06-16

备注: Project page: https://ahmaddarkhalil.github.io/HOI-DETR/

💡 一句话要点

提出HOI-DETR框架以提升手-物交互检测性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 手-物交互 深度学习 动作识别 机器人技术 模型评估

📋 核心要点

  1. 现有方法在手-物交互检测中存在准确性不足和泛化能力差的问题。
  2. 论文提出HOI-DETR框架，通过引入手-物和物-物交互，提升了模型的表现。
  3. 实验结果显示，模型在多个数据集上显著提升，尤其在Hands23和FineBio上mAP提升超过20%。

📝 摘要（中文）

理解手部及其与物体的交互是实现动作感知、3D重建和机器人技术的关键步骤。本文对手-物交互（HOI）理解文献做出了多项贡献：提出了HOI-DETR框架，将手-物和物-物交互引入Co-DETR架构，形成了一种先进的方法；构建了一个全面的HOI评估套件，包含4个多样化的数据集；提供了一个训练好的检查点，在Hands23、HOIST、FineBio和HD-EPIC上显著提升了性能，其中Hands23和FineBio的mAP提升超过20个百分点。通过消融实验验证了每个模型组件的贡献。

🔬 方法详解

问题定义：本文旨在解决手-物交互检测中的准确性和泛化能力不足的问题。现有方法往往无法有效捕捉复杂的手-物和物-物交互关系，导致检测性能受限。

核心思路：论文提出的HOI-DETR框架通过引入手-物和物-物交互，增强了模型对交互的理解能力，从而提升检测精度。该设计旨在通过更全面的交互建模来解决现有方法的不足。

技术框架：HOI-DETR框架基于Co-DETR架构，主要包括数据输入模块、交互建模模块和输出预测模块。数据输入模块负责处理输入图像和视频，交互建模模块则通过深度学习网络提取手部和物体之间的交互特征，最后输出预测结果。

关键创新：论文的核心创新在于将手-物和物-物交互引入到现有的Co-DETR框架中，形成了一种新的交互检测方法。这一创新使得模型能够更好地理解和捕捉复杂的交互关系，显著提升了检测性能。

关键设计：在模型设计中，采用了特定的损失函数以优化交互特征的学习，同时在网络结构上进行了调整，以增强模型对不同交互类型的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HOI-DETR框架在Hands23和FineBio数据集上实现了超过20个百分点的mAP提升，显著优于现有基线方法。这一成果验证了模型在多样化场景下的有效性和鲁棒性，标志着手-物交互检测领域的一次重要进步。

🎯 应用场景

该研究在机器人、动作识别和增强现实等领域具有广泛的应用潜力。通过提升手-物交互检测的准确性，能够为智能机器人提供更好的环境理解能力，进而实现更复杂的任务，如人机协作和自动化操作。此外，该技术也可用于视频监控和人机交互界面的优化。

📄 摘要（原文）

Understanding hands and the objects they interact with, both directly and through tools, is a key step for tasks ranging from action perception to 3D reconstruction and robotics. Our paper provides several contributions to the Hand-Object Interaction (HOI) understanding literature: (1) HOI-DETR, a new framework that introduces hand-object and object-object interactions to the Co-DETR architecture to produce a state-of-the-art method; (2) a comprehensive HOI evaluation suite of 4 diverse datasets, including a video benchmark derived from the HD-EPIC dataset and fresh annotations that improve the Hands23 benchmark and (3) a trained checkpoint that significantly improves the state of the art across Hands23, HOIST, FineBio, and HD-EPIC, including mAP gains of over 20 percentage points on Hands23 and FineBio. Our ablations confirm the contributions of each model component.