THÖR-MAGNI: A Large-scale Indoor Motion Capture Recording of Human Movement and Robot Interaction
作者: Tim Schreiter, Tiago Rodrigues de Almeida, Yufei Zhu, Eduardo Gutierrez Maestro, Lucas Morillo-Mendez, Andrey Rudenko, Luigi Palmieri, Tomasz P. Kucner, Martin Magnusson, Achim J. Lilienthal
分类: cs.RO
发布日期: 2024-03-14
备注: Submitted to The International Journal of Robotics Research (IJRR) on 28 of February 2024
💡 一句话要点
提出THÖR-MAGNI数据集以解决人机交互研究中的数据不足问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人机交互 社交导航 多模态数据 数据集构建 运动预测 视觉注意力 机器人技术
📋 核心要点
- 现有数据集在外部因素和目标代理线索的全面性上存在不足，限制了人机交互模型的开发。
- THÖR-MAGNI数据集通过提供多样的场景变体和丰富的上下文特征，旨在填补这一空白。
- 该数据集的多模态数据和社交交互场景为研究提供了新的视角和工具，促进了人机交互的深入分析。
📝 摘要（中文）
我们提出了一个新的大型室内人类与机器人导航和交互数据集THÖR-MAGNI，旨在促进社交导航研究，例如建模和预测人类运动、分析人类与机器人之间的目标导向交互，以及在社交交互背景下研究视觉注意力。THÖR-MAGNI填补了人类运动分析和人机交互（HRI）领域现有数据集的空白，特别是在外部因素和目标代理线索的全面性方面。该数据集包含丰富的社交人际和人机交互场景、详细的上下文注释以及多模态数据，如步态轨迹、注视追踪数据，以及从移动机器人记录的激光雷达和摄像头流。我们还提供了一套可视化和处理录制数据的工具。THÖR-MAGNI在收集的传感器数据的数量和多样性方面是独一无二的，能够捕捉自然的人机交互。
🔬 方法详解
问题定义：本论文旨在解决现有数据集中缺乏全面的外部因素和目标代理线索的问题，这限制了人机交互模型的有效性和鲁棒性。
核心思路：通过构建THÖR-MAGNI数据集，提供丰富的社交人际和人机交互场景，结合多模态数据，帮助研究者更好地理解和预测人类运动及其与机器人之间的交互。
技术框架：数据集的构建包括多个阶段：场景设计、数据采集、数据标注和工具开发。每个阶段都确保了数据的多样性和上下文的丰富性。
关键创新：THÖR-MAGNI在传感器数据的数量和多样性上具有独特性，能够在社交动态环境中捕捉自然的人机交互，填补了现有数据集的不足。
关键设计：数据集包含步态轨迹、注视追踪数据、激光雷达和摄像头流等多模态数据，此外还提供了可视化和处理工具，以便于研究者对数据进行深入分析。
🖼️ 关键图片
📊 实验亮点
THÖR-MAGNI数据集在多模态数据的丰富性和社交交互场景的多样性上表现突出，提供了大量的步态轨迹和注视追踪数据，能够有效提升人机交互模型的性能。与现有数据集相比，该数据集在上下文特征的全面性和多样性上具有显著优势，促进了对人类运动和交互的深入理解。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、智能家居、虚拟现实和增强现实等。通过提供丰富的数据集，研究者可以开发更智能的机器人系统，提升人机交互的自然性和有效性，推动相关技术的进步和应用。未来，THÖR-MAGNI数据集有望成为人机交互领域的重要基准数据集。
📄 摘要（原文）
We present a new large dataset of indoor human and robot navigation and interaction, called THÖR-MAGNI, that is designed to facilitate research on social navigation: e.g., modelling and predicting human motion, analyzing goal-oriented interactions between humans and robots, and investigating visual attention in a social interaction context. THÖR-MAGNI was created to fill a gap in available datasets for human motion analysis and HRI. This gap is characterized by a lack of comprehensive inclusion of exogenous factors and essential target agent cues, which hinders the development of robust models capable of capturing the relationship between contextual cues and human behavior in different scenarios. Unlike existing datasets, THÖR-MAGNI includes a broader set of contextual features and offers multiple scenario variations to facilitate factor isolation. The dataset includes many social human-human and human-robot interaction scenarios, rich context annotations, and multi-modal data, such as walking trajectories, gaze tracking data, and lidar and camera streams recorded from a mobile robot. We also provide a set of tools for visualization and processing of the recorded data. THÖR-MAGNI is, to the best of our knowledge, unique in the amount and diversity of sensor data collected in a contextualized and socially dynamic environment, capturing natural human-robot interactions.