Learning Egocentric In-Hand Object Segmentation through Weak Supervision from Human Narrations

📄 arXiv: 2509.26004v2 📥 PDF

作者: Nicola Messina, Rosario Leonardi, Luca Ciampi, Fabio Carrara, Giovanni Maria Farinella, Fabrizio Falchi, Antonino Furnari

分类: cs.CV, cs.AI

发布日期: 2025-09-30 (更新: 2025-12-02)

备注: Under consideration at Pattern Recognition Letters

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于人类叙述弱监督的单目手持物体分割方法NS-iHOS

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手持物体分割 弱监督学习 人类叙述 跨模态学习 第一人称视角 视觉-语言模型 EPIC-Kitchens Ego4D

📋 核心要点

  1. 现有手持物体分割方法依赖大量人工标注数据，成本高昂，限制了该领域发展。
  2. 利用人类叙述中关于被操作物体的线索，以弱监督方式学习手持物体分割，无需测试时使用叙述。
  3. 提出的WISH模型在EPIC-Kitchens和Ego4D数据集上显著优于现有基线，性能接近全监督方法。

📝 摘要（中文）

本文提出了一种新的任务：基于叙述监督的手持物体分割（NS-iHOS），旨在利用自然语言叙述（即相机佩戴者执行动作的描述，包含关于被操作物体的线索）学习分割手持物体。由于现有方法依赖于昂贵的手动标注，该领域的进展受到数据集稀缺的阻碍。为此，本文提出Weakly-Supervised In-hand Object Segmentation from Human Narrations (WISH)模型，通过从叙述中提炼知识来学习合理的手-物体关联，从而实现手持物体分割，且在测试时不使用叙述。在EPIC-Kitchens和Ego4D数据集上的实验表明，WISH超越了所有基于开放词汇物体检测器和视觉-语言模型的基线方法，在不使用精细像素级标注的情况下，恢复了超过50%的全监督方法性能。

🔬 方法详解

问题定义：论文旨在解决从第一人称视角图像中分割用户手持物体的问题。现有方法依赖于大量的像素级标注数据，标注成本高，限制了模型在实际场景中的应用。因此，如何利用弱监督信息，减少对人工标注的依赖，是本研究要解决的核心问题。

核心思路：论文的核心思路是利用人类对动作的自然语言叙述作为弱监督信号。叙述中包含了关于被操作物体的丰富信息，通过学习叙述与图像之间的关联，可以引导模型学习手持物体的分割。这种方法避免了直接标注像素级标签，降低了标注成本。

技术框架：WISH模型的整体框架包含以下几个主要模块：1) 视觉编码器：用于提取第一人称视角图像的视觉特征。2) 文本编码器：用于提取人类叙述的文本特征。3) 跨模态融合模块：将视觉特征和文本特征进行融合，学习图像和文本之间的关联。4) 分割模块：基于融合后的特征，预测手持物体的分割掩码。整个框架采用端到端的方式进行训练。

关键创新：论文的关键创新在于提出了利用人类叙述作为弱监督信号来学习手持物体分割的方法。与传统的监督学习方法相比，该方法不需要像素级的标注，大大降低了标注成本。此外，论文还设计了一种有效的跨模态融合模块，能够充分利用视觉和文本信息，提高分割的准确性。

关键设计：在视觉编码器方面，可以使用预训练的卷积神经网络（如ResNet）提取图像特征。在文本编码器方面，可以使用预训练的语言模型（如BERT）提取文本特征。跨模态融合模块可以使用注意力机制或Transformer结构，学习视觉和文本特征之间的关联。分割模块可以使用卷积神经网络或Transformer结构，预测像素级的分割掩码。损失函数可以包括分割损失（如交叉熵损失）和跨模态对齐损失（如对比学习损失）。具体参数设置需要根据实验结果进行调整。

📊 实验亮点

WISH模型在EPIC-Kitchens和Ego4D数据集上进行了评估，实验结果表明，WISH模型在不使用像素级标注的情况下，能够达到超过50%的全监督方法性能，并且显著优于基于开放词汇物体检测器和视觉-语言模型的基线方法。这表明利用人类叙述作为弱监督信号是一种有效的手持物体分割方法。

🎯 应用场景

该研究成果可应用于辅助技术、工业安全和活动监控等领域。例如，在辅助技术方面，可以帮助视力障碍者识别手持物体；在工业安全方面，可以监控工人是否正确操作工具；在活动监控方面，可以识别用户正在进行的活动。该研究有望推动人机交互和机器人技术的发展。

📄 摘要（原文）

Pixel-level recognition of objects manipulated by the user from egocentric images enables key applications spanning assistive technologies, industrial safety, and activity monitoring. However, progress in this area is currently hindered by the scarcity of annotated datasets, as existing approaches rely on costly manual labels. In this paper, we propose to learn human-object interaction detection leveraging narrations $\unicode{x2013}$ natural language descriptions of the actions performed by the camera wearer which contain clues about manipulated objects. We introduce Narration-Supervised in-Hand Object Segmentation (NS-iHOS), a novel task where models have to learn to segment in-hand objects by learning from natural-language narrations in a weakly-supervised regime. Narrations are then not employed at inference time. We showcase the potential of the task by proposing Weakly-Supervised In-hand Object Segmentation from Human Narrations (WISH), an end-to-end model distilling knowledge from narrations to learn plausible hand-object associations and enable in-hand object segmentation without using narrations at test time. We benchmark WISH against different baselines based on open-vocabulary object detectors and vision-language models. Experiments on EPIC-Kitchens and Ego4D show that WISH surpasses all baselines, recovering more than 50% of the performance of fully supervised methods, without employing fine-grained pixel-wise annotations. Code and data can be found at https://fpv-iplab.github.io/WISH.