PhysHOI: Physics-Based Imitation of Dynamic Human-Object Interaction

📄 arXiv: 2312.04393v1 📥 PDF

作者: Yinhuai Wang, Jing Lin, Ailing Zeng, Zhengyi Luo, Jian Zhang, Lei Zhang

分类: cs.CV, cs.GR, cs.RO

发布日期: 2023-12-07

💡 一句话要点

提出PhysHOI，通过模仿学习实现基于物理的动态人-物交互，无需任务特定奖励。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人-物交互 模仿学习 强化学习 接触图 物理仿真

📋 核心要点

  1. 现有基于物理的人-物交互方法依赖于任务特定的奖励函数，导致系统难以扩展且需要大量人工设计。
  2. PhysHOI通过模仿运动学HOI演示，并引入接触图来建模身体部位和物体之间的接触关系，从而实现动态HOI模仿。
  3. PhysHOI在全身抓取和篮球技能等多种HOI任务上进行了验证，证明了其在没有任务特定奖励的情况下有效模仿复杂交互的能力。

📝 摘要（中文）

本文提出PhysHOI，一种基于物理的动态人-物交互模仿学习方法，旨在解决现有方法依赖于精心设计的任务特定奖励而导致的可扩展性差和人工成本高的问题。PhysHOI通过模仿运动学人-物交互演示来训练人形机器人，使其掌握动态交互技能。该方法引入接触图来显式建模身体部位和物体之间的接触关系，并设计了接触图奖励，这对于精确的HOI模仿至关重要。PhysHOI无需先验知识即可简单有效地模仿各种HOI任务。此外，本文还引入了BallPlay数据集，其中包含八种全身篮球技能，以弥补该领域动态HOI场景的不足。在各种HOI任务（包括全身抓取和篮球技能）上验证了PhysHOI的有效性。

🔬 方法详解

问题定义：论文旨在解决动态人-物交互（HOI）的模仿学习问题，即如何让机器人通过观察人类与物体的交互演示，学习并复现这些交互技能。现有基于物理的HOI方法通常需要针对每个任务精心设计奖励函数，这使得系统难以扩展到新的任务，并且需要大量的人工干预。缺乏动态HOI数据也是一个挑战。

核心思路：论文的核心思路是通过模仿学习，让机器人学习人类的HOI技能，而无需手动设计复杂的奖励函数。关键在于如何有效地表示和学习人与物体之间的交互关系。论文通过引入接触图来显式地建模身体部位和物体之间的接触关系，并设计相应的奖励函数，从而引导机器人学习正确的交互行为。

技术框架：PhysHOI的整体框架包括以下几个主要模块：1) 运动学HOI演示数据输入：包括人和物体的运动轨迹。2) 接触图构建：根据人和物体的运动轨迹，构建身体部位和物体之间的接触图。3) 奖励函数设计：包括接触图奖励、运动学模仿奖励等。4) 强化学习训练：使用强化学习算法训练机器人，使其能够模仿HOI演示。

关键创新：论文的关键创新在于：1) 提出了一种基于接触图的HOI表示方法，能够显式地建模身体部位和物体之间的接触关系。2) 设计了一种接触图奖励函数，能够有效地引导机器人学习正确的交互行为。3) 提出了一种无需任务特定奖励的HOI模仿学习方法，能够泛化到不同的HOI任务。

关键设计：接触图奖励的设计是关键。具体来说，接触图奖励鼓励机器人与物体之间建立与演示数据相似的接触关系。运动学模仿奖励则鼓励机器人模仿演示数据的运动轨迹。论文使用PPO（Proximal Policy Optimization）算法进行强化学习训练。数据集方面，论文提出了BallPlay数据集，包含8种全身篮球技能，用于训练和评估模型。

📊 实验亮点

PhysHOI在多种HOI任务上进行了验证，包括全身抓取和篮球技能。实验结果表明，PhysHOI能够有效地模仿HOI演示，并且在没有任务特定奖励的情况下，能够达到与人工设计的奖励函数相当的性能。例如，在篮球技能模仿任务中，PhysHOI能够成功地模仿投篮、运球等动作，并且能够保持较高的成功率。

🎯 应用场景

PhysHOI具有广泛的应用前景，包括智能动画、智能机器人和虚拟现实等领域。例如，可以用于创建更逼真的人形动画，训练机器人执行复杂的装配任务，或者为用户提供更自然的虚拟现实交互体验。该研究有助于推动人机交互技术的发展，使机器人能够更好地理解和适应人类的行为。

📄 摘要（原文）

Humans interact with objects all the time. Enabling a humanoid to learn human-object interaction (HOI) is a key step for future smart animation and intelligent robotics systems. However, recent progress in physics-based HOI requires carefully designed task-specific rewards, making the system unscalable and labor-intensive. This work focuses on dynamic HOI imitation: teaching humanoid dynamic interaction skills through imitating kinematic HOI demonstrations. It is quite challenging because of the complexity of the interaction between body parts and objects and the lack of dynamic HOI data. To handle the above issues, we present PhysHOI, the first physics-based whole-body HOI imitation approach without task-specific reward designs. Except for the kinematic HOI representations of humans and objects, we introduce the contact graph to model the contact relations between body parts and objects explicitly. A contact graph reward is also designed, which proved to be critical for precise HOI imitation. Based on the key designs, PhysHOI can imitate diverse HOI tasks simply yet effectively without prior knowledge. To make up for the lack of dynamic HOI scenarios in this area, we introduce the BallPlay dataset that contains eight whole-body basketball skills. We validate PhysHOI on diverse HOI tasks, including whole-body grasping and basketball skills.