A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models

📄 arXiv: 2608.15984v1 📥 PDF

作者: Kaname Yokoyama, Norimichi Ukita

分类: cs.CV

发布日期: 2026-08-17

备注: Accepted to HCMIW at ECCV 2026 (Oral Presentation). Code and demo: https://github.com/irajisamurai/2D-Motion-Interface

🔗 代码/项目: GITHUB

💡 一句话要点

提出可插拔的2D运动接口以解决3D运动模型的输入限制问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动语言模型 2D运动接口 单目视频 姿态估计 模型适配 计算机视觉 人机交互

📋 核心要点

  1. 现有的运动语言模型在从单目视频中提取3D运动时面临准确性不足的问题，限制了其实际应用。
  2. 本文提出的可插拔2D运动接口允许3D预训练的运动语言模型直接处理2D运动输入，简化了模型的使用。
  3. 实验结果显示，该方法在多个数据集上表现出与3D输入相当的性能，并在2D运动上优于从零开始训练的模型。

📝 摘要（中文）

运动语言模型（MoLMs）通常通过对3D运动进行标记并使用语言模型处理这些标记来理解人类运动。然而，从单目视频中获取准确的3D运动存在挑战，限制了其在现实世界中的应用。为了解决这一问题，本文提出了一种可插拔的2D运动接口，使得3D预训练的MoLMs能够接受2D运动输入，而无需修改或微调原始模型。实验结果表明，该方法在多个MoLMs上实现了与3D运动输入相当的性能，并在2D运动上优于从头训练MoLMs。我们还构建了一个单目真实视频运动评估数据集，并引入了真实视频适配器，展示了在评估的单目姿态估计设置下，2D运动相较于3D运动的实用性。

🔬 方法详解

问题定义：本文旨在解决现有运动语言模型在处理单目视频时无法准确获取3D运动的问题。由于3D运动的提取依赖于复杂的计算，导致其在实际应用中的局限性。

核心思路：提出的可插拔2D运动接口使得3D预训练的运动语言模型能够直接接受2D运动输入，这样的设计避免了对原始模型的修改或微调，降低了使用门槛。

技术框架：该方法的整体架构包括一个2D运动输入模块和一个与现有MoLMs兼容的适配器。通过该接口，模型能够在不改变其内部结构的情况下处理2D数据。

关键创新：最重要的技术创新在于实现了2D运动与3D运动模型的无缝对接，允许模型在不损失性能的情况下扩展到新的输入形式。这一设计与传统方法的根本区别在于其灵活性和易用性。

关键设计：在设计中，采用了适应性损失函数以优化2D运动的输入效果，并确保与现有3D模型的兼容性。网络结构上，保持了原有模型的架构，仅在输入层进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的2D运动接口在多个公开数据集上实现了与3D运动输入相当的性能，且在2D运动任务上相较于从头训练的模型有显著提升，具体性能数据未详细列出，但整体效果显著。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实以及人机交互等场景，能够为这些领域提供更为灵活和高效的运动理解能力。通过简化模型的输入要求，未来可以在更多实际应用中部署运动语言模型，提升用户体验和交互质量。

📄 摘要（原文）

Motion Language Models (MoLMs) typically understand human motions by tokenizing 3D motion and processing the resulting tokens using a language model. However, obtaining accurate 3D motions from monocular videos is challenging, limiting their real-world applicability. To address this issue, we introduce a plug-and-play 2D Motion Interface that enables 3D-pretrained MoLMs to accept 2D motion inputs without modifying or fine-tuning the original models. Experiments on public datasets show that our method achieves performance comparable to 3D motion inputs across multiple MoLMs and outperforms training MoLMs from scratch on 2D motions. We further construct a monocular real-world video motion evaluation dataset and introduce a real-video adapter, demonstrating the usefulness of 2D motions over 3D motions under the evaluated monocular pose-estimation setting. These results suggest that 2D motion provides a practical interface for deploying MoLMs in real-world motion understanding settings. Code is available at https://github.com/irajisamurai/2D-Motion-Interface.