Humanoid Locomotion as Next Token Prediction

📄 arXiv: 2402.19469v1 📥 PDF

作者: Ilija Radosavovic, Bike Zhang, Baifeng Shi, Jathushan Rajasegaran, Sarthak Kamat, Trevor Darrell, Koushil Sreenath, Jitendra Malik

分类: cs.RO, cs.CV, cs.LG

发布日期: 2024-02-29

💡 一句话要点

将类人步态控制视为下一个令牌预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 类人控制 下一个令牌预测 因果变换器 多模态数据 自回归预测 机器人技术 泛化能力

📋 核心要点

  1. 现有的类人控制方法在处理多模态数据时面临挑战，尤其是在数据缺失的情况下。
  2. 本研究提出将类人步态控制视为下一个令牌预测问题，利用因果变换器进行自回归预测。
  3. 实验结果显示，模型在仅用27小时数据训练的情况下，能够实现类人机器人在现实环境中的行走，并具备良好的泛化能力。

📝 摘要（中文）

本研究将现实世界中的类人控制视为下一个令牌预测问题，类似于语言中的下一个单词预测。我们的模型是一个因果变换器，通过自回归预测传感器运动轨迹进行训练。为了考虑数据的多模态特性，我们以模态对齐的方式进行预测，并为每个输入令牌从相同模态中预测下一个令牌。该通用公式使我们能够利用缺失模态的数据，例如没有动作的视频轨迹。我们在来自先前神经网络策略、基于模型的控制器、动作捕捉数据和人类YouTube视频的模拟轨迹集合上训练模型。实验表明，我们的模型能够使全尺寸类人机器人在旧金山实现零样本行走，并且即使仅用27小时的行走数据进行训练，也能迁移到现实世界，并对未见过的命令（如向后行走）进行泛化。这些发现为通过生成建模传感器运动轨迹来学习具有挑战性的现实世界控制任务提供了有希望的路径。

🔬 方法详解

问题定义：本研究旨在解决类人步态控制中的多模态数据处理问题，现有方法在数据缺失时表现不佳，限制了其应用范围。

核心思路：论文提出将类人控制视为下一个令牌预测问题，利用因果变换器模型进行自回归预测，以此来处理多模态数据并实现有效控制。

技术框架：整体架构包括数据收集、模型训练和控制执行三个主要阶段。数据收集阶段整合来自不同来源的传感器运动轨迹，模型训练阶段使用自回归方法进行训练，控制执行阶段则将模型输出转化为实际的运动指令。

关键创新：最重要的创新在于将类人控制问题转化为下一个令牌预测，这种方法能够有效处理缺失模态数据，并提升了模型的泛化能力。

关键设计：模型采用因果变换器架构，损失函数设计为自回归预测损失，网络结构中考虑了多模态输入的对齐处理，确保每个输入令牌的预测来自相同模态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在仅用27小时的行走数据训练后，能够实现类人机器人在现实环境中的零样本行走，且能够有效执行未见过的命令，如向后行走，展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等。通过改进类人控制技术，能够提升机器人在复杂环境中的自主性和灵活性，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

We cast real-world humanoid control as a next token prediction problem, akin to predicting the next word in language. Our model is a causal transformer trained via autoregressive prediction of sensorimotor trajectories. To account for the multi-modal nature of the data, we perform prediction in a modality-aligned way, and for each input token predict the next token from the same modality. This general formulation enables us to leverage data with missing modalities, like video trajectories without actions. We train our model on a collection of simulated trajectories coming from prior neural network policies, model-based controllers, motion capture data, and YouTube videos of humans. We show that our model enables a full-sized humanoid to walk in San Francisco zero-shot. Our model can transfer to the real world even when trained on only 27 hours of walking data, and can generalize to commands not seen during training like walking backward. These findings suggest a promising path toward learning challenging real-world control tasks by generative modeling of sensorimotor trajectories.