HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation

📄 arXiv: 2606.31682v1 📥 PDF

作者: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

分类: cs.RO

发布日期: 2026-06-30

备注: 30 pages, 26 figures

💡 一句话要点

提出HABIT数据集以解决机器人缺乏人类意识的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 人机交互 机器人学习 数据集构建 行为识别 协作机器人 智能机器人 深度学习

📋 核心要点

  1. 现有的机器人演示数据集通常在无人环境中收集，导致训练出的策略缺乏人类意识行为。
  2. 本文提出HABIT数据集，专注于人类存在的环境，并将任务分为协作、共同工作和监督三种角色。
  3. 实验结果显示，基于HABIT训练的机器人能够在多种人机交互任务中表现出更好的适应性和人类意识行为。

📝 摘要（中文）

大规模演示数据集在通用机器人策略的进展中至关重要。然而，现有数据集通常在无人环境中收集，导致训练出的策略在孤立任务中表现良好，但缺乏人类意识行为。为了解决这一问题，本文提出了HABIT，一个针对人类存在环境的大规模机器人演示数据集。该数据集将任务组织为三种角色，涵盖人机交互的不同模式，包括协作、共同工作和监督。HABIT包含超过10,000个任务集和160小时的任务数据。实验表明，基于人类存在的数据训练能够引发机器人在协作任务中的时空同步、共同工作任务中的让步行为以及监督任务中的手势理解等人类意识行为。

🔬 方法详解

问题定义：现有的机器人演示数据集主要在无人环境中收集，导致训练出的策略在与人类交互时表现不佳，缺乏人类意识的行为。

核心思路：HABIT数据集引入人类存在作为数据集多样性的一个新维度，通过组织任务为三种角色，促进机器人在与人类交互时的适应性和表现。

技术框架：HABIT数据集包含超过10,000个任务集，涵盖160小时的任务数据，任务分为协作、共同工作和监督三种角色，旨在捕捉不同的人机交互模式。

关键创新：HABIT的最大创新在于引入人类存在的环境，使得机器人能够学习到人类意识行为，如时空同步、让步行为和手势理解，这在传统的机器人训练数据集中是缺失的。

关键设计：在数据集构建过程中，任务设计考虑了人类与机器人之间的互动模式，确保数据的多样性和代表性，同时采用了适当的损失函数和网络结构，以支持复杂的人机交互学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于HABIT数据集训练的机器人在协作任务中实现了时空同步，在共同工作任务中表现出让步行为，并在监督任务中成功实现手势理解。这些行为的表现显著优于仅使用传统机器人数据集训练的模型，展示了HABIT数据集的有效性。

🎯 应用场景

HABIT数据集的研究成果可广泛应用于人机协作机器人、智能家居、服务机器人等领域。通过提升机器人在与人类交互时的表现，能够显著提高机器人在实际应用中的有效性和用户体验，推动智能机器人技术的发展与普及。

📄 摘要（原文）

Large-scale demonstration datasets have been central to recent progress in general-purpose robot policies. However, existing datasets are collected in human-absent settings, and policies trained on such data may perform tasks competently in isolation but fail to exhibit human-aware behaviors. To address this gap, we introduce HABIT, a large-scale robot demonstration dataset for human-present environments. We organize tasks into three roles capturing distinct modes of human-robot interaction: Collaborator, where human and robot jointly accomplish a task; Coworker, where they pursue separate tasks in a shared space; and Supervisor, where the human directs the robot. The dataset comprises over 10K episodes and over 160 hours across 60 tasks. Our experiments show that training on human-present data elicits human-aware behaviors that robot-only data fails to produce: spatiotemporal synchronization in Collaborator tasks, yielding in Coworker tasks, and gesture grounding in Supervisor tasks. Moreover, training on HABIT enables rapid adaptation to new human-robot interaction tasks. By introducing human presence as a new axis of dataset diversity, HABIT extends robot policies to environments shared with humans.