Learning Multimodal Latent Dynamics for Human-Robot Interaction
作者: Vignesh Prasad, Lea Heitlinger, Dorothea Koert, Ruth Stock-Homburg, Jan Peters, Georgia Chalvatzaki
分类: cs.RO, cs.HC, cs.LG
发布日期: 2023-11-27 (更新: 2025-06-12)
备注: Preprint version of paper accepted at IEEE T-RO. Project website: https://sites.google.com/view/mild-hri
💡 一句话要点
提出多模态潜在动态学习方法以优化人机交互
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 隐马尔可夫模型 变分自编码器 动态建模 机器人运动生成 用户体验 双手交接 柔顺交互
📋 核心要点
- 现有的人机交互方法往往缺乏对人类交互动态的有效建模，导致机器人反应不够灵活和自然。
- 本文提出了一种利用隐马尔可夫模型与变分自编码器相结合的方法，从人际交互中学习人机交互的动态特性。
- 实验结果表明，所提方法在用户体验上优于其他基线，用户认为其更具人性化和准确性，且在复杂场景中表现良好。
📝 摘要（中文）
本文提出了一种从人际交互中学习协调的人机交互（HRI）的方法。我们设计了一种混合方法，利用隐马尔可夫模型（HMM）作为变分自编码器的潜在空间先验，以建模交互代理的联合分布。通过借用人际交互中学习到的动态，我们能够更准确地预测机器人轨迹，并通过逆运动学调整生成的机器人动作，以确保与人类的物理接近性。此外，我们通过HMM分割调节机器人的刚度，以实现更为柔顺的交互。我们在类人机器人上进行了用户研究，验证了方法的有效性，结果显示用户认为该方法更具人性化、及时性和准确性，并对其偏好程度高于其他基线方法。
🔬 方法详解
问题定义：本文旨在解决现有的人机交互方法在动态建模上的不足，尤其是在与人类交互时的灵活性和自然性问题。现有方法通常无法有效捕捉人类交互的复杂性，导致机器人反应不够及时和准确。
核心思路：我们提出了一种混合方法，结合隐马尔可夫模型（HMM）与变分自编码器（VAE），以学习人际交互中的动态特性，并将其应用于人机交互中。通过这种方式，我们能够更好地预测机器人在与人类交互时的运动轨迹。
技术框架：整体架构包括三个主要模块：首先，利用HMM建模人际交互的潜在动态；其次，使用VAE学习交互代理的联合分布；最后，通过逆运动学调整生成的机器人动作，以确保与人类的物理接近性。
关键创新：本文的主要创新在于将HMM与VAE结合，利用人际交互数据来增强机器人对人机交互的理解和反应能力。这种方法与传统的单一模型方法相比，能够更准确地捕捉交互动态。
关键设计：在模型设计中，我们设置了HMM的状态数和VAE的潜在维度，并采用了适应性损失函数，以优化机器人动作生成的准确性和自然性。此外，机器人刚度的调节通过HMM分割实现，以适应不同的交互场景。
🖼️ 关键图片
📊 实验亮点
实验结果显示，用户对所提方法的偏好程度显著高于其他基线，认为其在交互的自然性和准确性上表现更佳。具体而言，用户反馈表明该方法在复杂的双手交接场景中也能成功生成有效的交互，展现出良好的通用性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、社交机器人以及医疗辅助机器人等。通过提升机器人与人类的交互能力，能够在多种场景中提供更自然的协作体验，未来可能对人机协作的普及和应用产生深远影响。
📄 摘要（原文）
This article presents a method for learning well-coordinated Human-Robot Interaction (HRI) from Human-Human Interactions (HHI). We devise a hybrid approach using Hidden Markov Models (HMMs) as the latent space priors for a Variational Autoencoder to model a joint distribution over the interacting agents. We leverage the interaction dynamics learned from HHI to learn HRI and incorporate the conditional generation of robot motions from human observations into the training, thereby predicting more accurate robot trajectories. The generated robot motions are further adapted with Inverse Kinematics to ensure the desired physical proximity with a human, combining the ease of joint space learning and accurate task space reachability. For contact-rich interactions, we modulate the robot's stiffness using HMM segmentation for a compliant interaction. We verify the effectiveness of our approach deployed on a Humanoid robot via a user study. Our method generalizes well to various humans despite being trained on data from just two humans. We find that users perceive our method as more human-like, timely, and accurate and rank our method with a higher degree of preference over other baselines. We additionally show the ability of our approach to generate successful interactions in a more complex scenario of Bimanual Robot-to-Human Handovers.