GazeMotion: Gaze-guided Human Motion Forecasting
作者: Zhiming Hu, Syn Schmitt, Daniel Haeufle, Andreas Bulling
分类: cs.CV
发布日期: 2024-03-14 (更新: 2024-07-11)
备注: Accepted at IROS 2024 as Oral Presentation. Code available at https://zhiminghu.net/hu24_gazemotion.html
💡 一句话要点
提出GazeMotion以解决人类动作预测中的视线引导问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人类动作预测 视线引导 图卷积网络 多模态融合 行为科学
📋 核心要点
- 现有的人类动作预测方法未能充分利用眼睛视线信息，导致预测精度不足。
- GazeMotion通过预测未来视线并将其与过去姿态结合，构建视线-姿态图来提升动作预测效果。
- 在多个基准数据集上，GazeMotion在平均每个关节位置误差上提高了7.4%，并在感知真实感方面表现优异。
📝 摘要（中文）
我们提出了GazeMotion，这是一种新颖的人类动作预测方法，结合了过去的人体姿态信息和人眼视线。基于行为科学的证据，表明人眼和身体动作密切协调，GazeMotion首先从过去的视线预测未来的视线，然后将预测的未来视线与过去的姿态融合成一个视线-姿态图，最后使用残差图卷积网络来预测身体动作。我们在MoGaze、ADT和GIMO基准数据集上进行了广泛评估，结果显示该方法在平均每个关节位置误差上比现有最先进的方法提高了7.4%。即使使用头部方向作为视线的代理，我们的方法仍然实现了5.5%的平均提升。最后，我们报告了一项在线用户研究，显示我们的方法在感知真实感方面也优于之前的方法。这些结果表明，眼睛视线在人体动作预测中具有显著的信息内容，以及我们的方法在利用这些信息方面的有效性。
🔬 方法详解
问题定义：本论文旨在解决人类动作预测中的视线信息利用不足的问题。现有方法通常只依赖于历史姿态数据，未能考虑眼睛视线的影响，导致预测结果的准确性受到限制。
核心思路：GazeMotion的核心思路是通过预测未来的眼睛视线，并将其与历史姿态信息结合，构建一个视线-姿态图，从而更好地捕捉人类动作的动态特性。这样的设计灵感来源于行为科学的研究，表明眼睛和身体动作之间存在紧密的协调关系。
技术框架：GazeMotion的整体架构包括三个主要模块：首先，利用历史视线数据预测未来视线；其次，将预测的未来视线与历史姿态信息融合，形成视线-姿态图；最后，使用残差图卷积网络对身体动作进行预测。
关键创新：GazeMotion的主要创新在于将眼睛视线信息引入到人类动作预测中，构建视线-姿态图的方式显著提升了预测的准确性。这一方法与传统的仅依赖姿态信息的预测方法有本质区别。
关键设计：在技术细节上，GazeMotion采用了残差图卷积网络结构，以增强信息传递的有效性。同时，损失函数设计上考虑了每个关节位置的误差，以确保预测结果的精确性。
🖼️ 关键图片
📊 实验亮点
在实验中，GazeMotion在MoGaze、ADT和GIMO基准数据集上表现优异，平均每个关节位置误差提高了7.4%。即使在使用头部方向作为视线代理的情况下，仍实现了5.5%的平均提升。此外，在线用户研究显示该方法在感知真实感方面超越了之前的技术，进一步验证了其有效性。
🎯 应用场景
GazeMotion的研究成果在多个领域具有潜在应用价值，包括人机交互、虚拟现实、机器人控制等。通过更准确的人类动作预测，该方法能够提升虚拟角色的真实感和互动性，进而改善用户体验。此外，该技术也可用于监控和分析人类行为，为智能系统提供更丰富的上下文信息。
📄 摘要（原文）
We present GazeMotion, a novel method for human motion forecasting that combines information on past human poses with human eye gaze. Inspired by evidence from behavioural sciences showing that human eye and body movements are closely coordinated, GazeMotion first predicts future eye gaze from past gaze, then fuses predicted future gaze and past poses into a gaze-pose graph, and finally uses a residual graph convolutional network to forecast body motion. We extensively evaluate our method on the MoGaze, ADT, and GIMO benchmark datasets and show that it outperforms state-of-the-art methods by up to 7.4% improvement in mean per joint position error. Using head direction as a proxy to gaze, our method still achieves an average improvement of 5.5%. We finally report an online user study showing that our method also outperforms prior methods in terms of perceived realism. These results show the significant information content available in eye gaze for human motion forecasting as well as the effectiveness of our method in exploiting this information.