Neural-Logic Human-Object Interaction Detection

作者: Liulei Li, Jianan Wei, Wenguan Wang, Yi Yang

分类: cs.CV

发布日期: 2023-11-16

备注: Accepted to NeurIPS 2023; Code: https://github.com/weijianan1/LogicHOI

💡 一句话要点

提出L OGIC HOI以解决传统HOI检测方法的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人机交互 Transformer 神经逻辑推理 物体可供性 空间关系 零-shot学习 深度学习

📋 核心要点

1. 现有的HOI检测方法通常依赖于固定的人物-物体对，缺乏灵活性和创新性，无法处理新组合。
2. 本文提出L OGIC HOI，通过神经逻辑推理与Transformer相结合，能够推断出可行的人物-物体交互。
3. 在V-COCO和HICO-DET数据集上，L OGIC HOI在正常和零-shot设置下均显著提升了检测性能。

📝 摘要（中文）

现有的基于Transformer的人物-物体交互（HOI）检测器通常依赖于预先组合的人物-物体对作为输入，尽管性能优异，但缺乏灵活性，无法在解码过程中探索新组合。本文提出L OGIC HOI，一种结合神经逻辑推理与Transformer的新型HOI检测器，能够推断实体间的可行交互。我们修改了传统Transformer中的自注意力机制，使其能够对三元组进行推理，并构建新交互。同时，推理过程受到两种关键属性的指导：物体的可供性和人类与物体之间的空间关系。我们将这两种属性形式化为一阶逻辑，并将其嵌入连续空间，以约束学习过程，从而提升性能和零-shot泛化能力。L OGIC HOI在V-COCO和HICO-DET数据集上进行评估，在正常和零-shot设置下均显著超越现有方法。

🔬 方法详解

问题定义：本文旨在解决传统HOI检测方法在输入固定性和创新性不足的问题，现有方法无法有效探索新的人物-物体组合。

核心思路：L OGIC HOI通过引入神经逻辑推理，结合Transformer架构，能够对三元组进行动态推理，从而生成新的交互组合。

技术框架：该方法的整体架构包括修改后的自注意力机制，能够处理三元组的推理过程，并通过物体的可供性和人类与物体的空间关系来指导学习。

关键创新：L OGIC HOI的主要创新在于将一阶逻辑形式化的可供性和空间关系嵌入到学习过程中，这一设计使得模型能够更好地理解和生成交互。

关键设计：在网络结构上，L OGIC HOI采用了改进的自注意力机制，并设计了特定的损失函数以优化推理过程，同时确保了模型的零-shot泛化能力。

🖼️ 关键图片

📊 实验亮点

在V-COCO和HICO-DET数据集上，L OGIC HOI在正常设置下的性能提升幅度达到了XX%，在零-shot设置下也显示出显著的泛化能力，超越了现有的基线方法，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景，能够提升机器对复杂人类行为的理解能力，促进智能系统的自主决策与交互能力。未来，该方法可能在自动驾驶、虚拟现实等领域发挥重要作用。

📄 摘要（原文）

The interaction decoder utilized in prevalent Transformer-based HOI detectors typically accepts pre-composed human-object pairs as inputs. Though achieving remarkable performance, such paradigm lacks feasibility and cannot explore novel combinations over entities during decoding. We present L OGIC HOI, a new HOI detector that leverages neural-logic reasoning and Transformer to infer feasible interactions between entities. Specifically, we modify the self-attention mechanism in vanilla Transformer, enabling it to reason over the triplet and constitute novel interactions. Meanwhile, such reasoning process is guided by two crucial properties for understanding HOI: affordances (the potential actions an object can facilitate) and proxemics (the spatial relations between humans and objects). We formulate these two properties in first-order logic and ground them into continuous space to constrain the learning process of our approach, leading to improved performance and zero-shot generalization capabilities. We evaluate L OGIC HOI on V-COCO and HICO-DET under both normal and zero-shot setups, achieving significant improvements over existing methods.