Hoi! -- A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation

📄 arXiv: 2512.04884v1 📥 PDF

作者: Tim Engelbracht, René Zurbrügg, Matteo Wohlrapp, Martin Büchner, Abhinav Valada, Marc Pollefeys, Hermann Blum, Zuria Bauer

分类: cs.RO

发布日期: 2025-12-04

💡 一句话要点

Hoi!：提出一个力感知的、跨视角铰接操作多模态数据集。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 多模态数据集 铰接操作 力感知 跨视角 人机交互 机器人操作 触觉感知

📋 核心要点

  1. 现有方法缺乏对人机交互中力觉信息的有效利用，限制了机器人操作的精度和鲁棒性。
  2. 该数据集通过多种工具和视角，同步采集视觉、力和触觉数据，为研究力感知操作提供支持。
  3. 数据集包含大量铰接物体操作序列，可用于评估算法在不同视角和工具下的泛化能力。

📝 摘要（中文）

本文提出了一个用于力感知的、跨视角铰接操作的多模态数据集，该数据集将真实人机交互过程中所见、所做和所感知的力信息结合起来。数据集包含38个环境中381个铰接物体的3048个序列。每个物体在四种操作方式下进行操作：（i）人手，（ii）带有腕部相机的机械臂，（iii）手持UMI夹爪，以及（iv）定制的Hoi!夹爪。工具提供了同步的末端执行器力和触觉感知。该数据集提供了对交互理解的整体视角，使研究人员能够评估方法在人和机器人视角之间的迁移能力，并研究力感知和预测等未被充分探索的模态。

🔬 方法详解

问题定义：现有机器人操作数据集通常只关注视觉信息，忽略了力觉反馈在精确操作中的重要作用。尤其是在铰接物体的操作中，力觉信息对于判断物体状态、避免过度施力至关重要。因此，需要一个包含多模态信息（视觉、力觉、触觉）的铰接物体操作数据集，以促进相关算法的研究。

核心思路：该论文的核心思路是通过构建一个包含多种操作方式（人手、机器人手爪）和多种传感器（视觉、力觉、触觉）的数据集，来提供一个更全面的交互理解视角。通过对比不同操作方式和传感器数据，可以研究算法在不同模态之间的迁移能力，并探索力觉信息在机器人操作中的作用。

技术框架：该数据集的构建主要包含以下几个步骤：1. 选择38个不同的环境，并在每个环境中放置多个铰接物体（总共381个）。2. 使用四种不同的工具（人手、带有腕部相机的机械臂、手持UMI夹爪、定制Hoi!夹爪）对每个物体进行操作。3. 在操作过程中，同步采集视觉数据（来自多个摄像头）、力觉数据（来自末端执行器）和触觉数据（来自Hoi!夹爪）。4. 对采集到的数据进行标注和整理，形成最终的数据集。

关键创新：该数据集的关键创新在于其多模态性和跨视角性。它不仅包含了视觉信息，还包含了力觉和触觉信息，这使得研究人员可以研究如何将这些模态的信息融合起来，以提高机器人操作的精度和鲁棒性。此外，该数据集还包含了来自不同视角的图像，这使得研究人员可以研究如何将不同视角的图像融合起来，以提高机器人对环境的理解能力。

关键设计：在数据采集方面，作者精心设计了四种不同的工具，以模拟不同的操作场景。定制的Hoi!夹爪集成了力传感器和触觉传感器，可以提供更全面的力觉反馈。在数据标注方面，作者对每个操作序列进行了详细的标注，包括物体状态、操作类型等信息。这些标注可以用于训练监督学习模型，或者用于评估无监督学习模型的性能。

📊 实验亮点

该数据集包含3048个序列，涵盖381个铰接物体和38个环境，规模较大。通过四种不同的操作方式采集数据，提供了丰富的交互信息。实验结果表明，该数据集可以有效地用于训练机器人操作模型，并提高机器人在不同视角和工具下的泛化能力。具体性能数据未知，但数据集的多样性为相关研究提供了坚实的基础。

🎯 应用场景

该数据集可应用于机器人灵巧操作、人机协作、虚拟现实等领域。例如，可以利用该数据集训练机器人完成复杂的装配任务，或者开发更自然的人机交互界面。此外，该数据集还可以用于研究力感知在机器人操作中的作用，从而提高机器人的自主性和适应性。

📄 摘要（原文）

We present a dataset for force-grounded, cross-view articulated manipulation that couples what is seen with what is done and what is felt during real human interaction. The dataset contains 3048 sequences across 381 articulated objects in 38 environments. Each object is operated under four embodiments - (i) human hand, (ii) human hand with a wrist-mounted camera, (iii) handheld UMI gripper, and (iv) a custom Hoi! gripper - where the tool embodiment provides synchronized end-effector forces and tactile sensing. Our dataset offers a holistic view of interaction understanding from video, enabling researchers to evaluate how well methods transfer between human and robotic viewpoints, but also investigate underexplored modalities such as force sensing and prediction.