VENOM: Versatile Embodied Network for Omni-bodied Motion tracking

📄 arXiv: 2606.16696v1 📥 PDF

作者: Siddharth Padmanabhan, Kazuki Miyazawa, Takato Horii

分类: cs.RO

发布日期: 2026-06-15

💡 一句话要点

提出VENOM以解决多种类人形机器人运动跟踪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 全身运动跟踪 人形机器人 跨身体模型 GPT架构 运动捕捉 强化学习 多模态数据

📋 核心要点

  1. 现有的跨身体运动跟踪方法通常将控制问题分解为上下半身控制，导致整体运动跟踪的稳定性不足。
  2. VENOM提出了一种基于GPT的全身运动跟踪模型，能够在不分割上下半身的情况下进行有效跟踪。
  3. 实验结果显示，VENOM在多种类人形机器人中实现了更高的运动跟踪稳定性，超越了传统的监督学习方法。

📝 摘要（中文）

在仅依赖示范数据的情况下，实现多种类人形机器人的专家级全身运动跟踪仍然是一个具有挑战性且相对未被充分探索的问题。现有的跨身体运动跟踪策略通常将控制问题分解为上下半身控制。本文提出了VENOM，一个用于人形机器人全身运动跟踪的跨身体模型。VENOM是基于GPT的运动跟踪器，能够在不需要分割上下半身控制的情况下，跟踪整个身体。我们构建了一个多种类人形运动跟踪数据集VENOM数据集，并在此数据集上训练VENOM及基线模型。实验结果表明，VENOM在不同人形机器人间实现了更稳定的运动跟踪能力，超越了仅依赖监督学习的多种类人形数据训练的多层感知机，并且尽管缺乏奖励反馈，VENOM的跟踪能力接近于使用不对称演员评论家强化学习训练的专家。

🔬 方法详解

问题定义：本论文旨在解决多种类人形机器人在运动跟踪中的稳定性问题。现有方法通常将运动控制分为上下半身，导致整体协调性不足，难以实现专家级的运动跟踪。

核心思路：VENOM的核心思想是使用基于GPT的模型，直接对全身运动进行跟踪，而不需要将运动分解为上下半身控制。这种设计旨在提高运动跟踪的整体稳定性和准确性。

技术框架：VENOM的整体架构包括数据采集、模型训练和性能评估三个主要阶段。首先，构建了一个包含多种类人形运动的数据集；其次，使用该数据集训练VENOM模型；最后，通过与基线模型的对比评估VENOM的性能。

关键创新：VENOM的最大创新在于其能够在不分割上下半身的情况下实现全身运动跟踪，这与现有方法的分解策略形成了鲜明对比，显著提升了运动跟踪的稳定性。

关键设计：在模型设计上，VENOM采用了GPT架构，结合了多种人形数据进行训练。损失函数的设计考虑了运动的连续性和稳定性，确保模型能够在不同的人形机器人间进行有效的运动跟踪。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VENOM在不同人形机器人间实现了更稳定的运动跟踪能力，相较于基于多层感知机的传统方法，性能提升显著。此外，VENOM在缺乏奖励反馈的情况下，其跟踪能力接近于使用不对称演员评论家强化学习训练的专家，展示了其强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括人形机器人控制、虚拟现实中的角色动画以及运动捕捉技术。VENOM的创新方法可以提高机器人在复杂环境中的运动表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Achieving expert-level expressive full-body motion tracking across multiple humanoids solely from demonstration data remains a challenging and relatively an underexplored problem in humanoid robot learning. Cross-embodiment motion tracking policies are mostly trained by decoupling the control problem into upper and lower body control. This work proposes VENOM, a cross-embodiment full-body motion tracking model for humanoids in simulation. VENOM is a GPT-based motion tracker trained on multiple humanoid data that can track the entire body without the requirement to split into upper and lower body control. We curate a multi-humanoid motion tracking dataset called the VENOM dataset that contains states, actions, and rewards and train VENOM and the baselines on this dataset. In this letter, we evaluate VENOM's performance against baselines and show that we can achieve a stable motion tracker across different humanoids more capable than an MLP trained on multiple humanoid data with supervised learning alone, and also show that despite lack of reward feedback, VENOM closely matches the tracking capability of experts that were trained using asymmetric-actor critic reinforcement learning.