MLP: Motion Label Prior for Temporal Sentence Localization in Untrimmed 3D Human Motions

📄 arXiv: 2404.13657v1 📥 PDF

作者: Sheng Yan, Mengyuan Liu, Yong Wang, Yang Liu, Chen Chen, Hong Liu

分类: cs.CV, cs.AI

发布日期: 2024-04-21

备注: 13 pages, 9 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出运动标签先验以解决人类动作的时间句子定位问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 时间句子定位 3D人类动作 标签先验 运动捕捉 智能监控 动作识别 虚拟现实

📋 核心要点

  1. 现有方法在处理3D人类动作时，因缺乏复杂场景信息，导致时间句子定位的准确性受到限制。
  2. 论文提出了两种标签先验辅助训练方案，以增强目标时刻的定位能力，提升模型的预测精度。
  3. 在构建的TSLM基准上，模型MLP在多个数据集上表现优异，显著提高了召回率，超越了现有方法。

📝 摘要（中文）

本文探讨了人类动作的时间句子定位（TSLM）这一未被充分研究的问题，旨在从3D人类动作中定位与文本查询语义对应的目标时刻。由于3D人类动作的捕捉依赖于专业的运动捕捉设备，缺乏复杂场景信息，导致运动数据的上下文丰富性较低，帧间语义模糊，限制了现有视频定位框架在TSLM中的准确性。为此，本文提出了两种新颖的标签先验辅助训练方案，以提高定位精度。实验结果表明，注入标签先验知识对提高高IoU性能至关重要。我们的模型MLP在BABEL数据集上实现了44.13的召回率，在HumanML3D（Restore）上达到71.17，超越了之前的工作。

🔬 方法详解

问题定义：本文旨在解决人类动作的时间句子定位（TSLM）问题，现有方法因缺乏上下文信息和语义模糊性，导致定位精度较低。

核心思路：提出两种标签先验辅助训练方案，分别通过嵌入前景和背景的先验知识，以及利用翻转的起始/结束标签序列来优化模型预测，提升定位精度。

技术框架：整体架构包括数据预处理、标签先验嵌入、模型训练和评估阶段，重点在于如何有效利用标签先验信息。

关键创新：最重要的创新在于引入标签先验知识，显著改善了模型在高IoU条件下的性能，与现有方法相比，提供了更为精确的定位能力。

关键设计：采用了特定的损失函数以强化标签先验的影响，并设计了适应性网络结构以处理3D动作数据的特性，确保模型能够有效学习到有用的上下文信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，模型MLP在BABEL数据集上达到了44.13的召回率，在HumanML3D（Restore）上更是达到了71.17，显著超越了之前的研究，展示了标签先验知识在提升定位精度方面的有效性。

🎯 应用场景

该研究在视频理解、动作识别和人机交互等领域具有广泛的应用潜力。通过提高时间句子定位的准确性，可以在智能监控、虚拟现实和增强现实等场景中实现更为精准的动作检索和分析，推动相关技术的发展。

📄 摘要（原文）

In this paper, we address the unexplored question of temporal sentence localization in human motions (TSLM), aiming to locate a target moment from a 3D human motion that semantically corresponds to a text query. Considering that 3D human motions are captured using specialized motion capture devices, motions with only a few joints lack complex scene information like objects and lighting. Due to this character, motion data has low contextual richness and semantic ambiguity between frames, which limits the accuracy of predictions made by current video localization frameworks extended to TSLM to only a rough level. To refine this, we devise two novel label-prior-assisted training schemes: one embed prior knowledge of foreground and background to highlight the localization chances of target moments, and the other forces the originally rough predictions to overlap with the more accurate predictions obtained from the flipped start/end prior label sequences during recovery training. We show that injecting label-prior knowledge into the model is crucial for improving performance at high IoU. In our constructed TSLM benchmark, our model termed MLP achieves a recall of 44.13 at IoU@0.7 on the BABEL dataset and 71.17 on HumanML3D (Restore), outperforming prior works. Finally, we showcase the potential of our approach in corpus-level moment retrieval. Our source code is openly accessible at https://github.com/eanson023/mlp.