JointMotion: Joint Self-Supervision for Joint Motion Prediction
作者: Royden Wagner, Omer Sahin Tas, Marvin Klemp, Carlos Fernandez
分类: cs.CV, cs.RO
发布日期: 2024-03-08 (更新: 2024-10-23)
备注: CoRL'24 camera-ready
🔗 代码/项目: GITHUB
💡 一句话要点
提出JointMotion以解决自驾车关节运动预测问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 关节运动预测 多模态融合 环境上下文 迁移学习
📋 核心要点
- 现有方法在自驾车关节运动预测中存在对环境上下文理解不足和表示学习不够精细的问题。
- 论文提出的JointMotion通过联合优化场景级和实例级目标，利用自监督学习提升运动预测的准确性和泛化能力。
- 实验结果显示，JointMotion显著降低了多种模型的关节位移误差，并实现了不同数据集之间的有效迁移学习。
📝 摘要（中文）
我们提出了JointMotion，这是一种自监督预训练方法，用于自驾车中的关节运动预测。该方法联合优化了连接运动与环境的场景级目标和用于细化学习表示的实例级目标。场景级表示通过对过去运动序列和环境上下文的非对比相似性学习来获得。在实例级，我们使用掩码自编码来细化多模态折线表示。此外，我们还引入了自适应预训练解码器，使JointMotion能够在不同环境表示、融合机制和数据集特征之间进行泛化。值得注意的是，我们的方法分别将Wayformer、HPTR和Scene Transformer模型的关节最终位移误差降低了3%、8%和12%；并实现了Waymo Open Motion与Argoverse 2 Motion Forecasting数据集之间的迁移学习。
🔬 方法详解
问题定义：本论文旨在解决自驾车关节运动预测中的环境上下文理解不足和表示学习精度不高的问题。现有方法往往无法有效结合运动信息与环境特征，导致预测精度不理想。
核心思路：JointMotion的核心思路是通过自监督学习，联合优化场景级和实例级目标，以提升运动预测的表现。通过非对比相似性学习和掩码自编码，论文实现了对运动序列和环境上下文的深度理解。
技术框架：整体架构包括两个主要模块：场景级表示学习和实例级表示细化。场景级模块通过学习过去运动序列与环境上下文的相似性来构建表示，实例级模块则通过掩码自编码技术来细化多模态折线表示。
关键创新：最重要的创新点在于引入了自适应预训练解码器，使得模型能够在不同环境表示和数据集特征之间进行有效的泛化。这一设计显著提升了模型的适应性和预测精度。
关键设计：在损失函数设计上，论文采用了结合场景级和实例级目标的复合损失函数，以确保模型在学习过程中能够平衡两者的贡献。此外，网络结构中引入了多模态融合机制，以增强模型对复杂环境的理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，JointMotion在多个基准模型上均取得了显著的性能提升，Wayformer、HPTR和Scene Transformer模型的关节最终位移误差分别降低了3%、8%和12%。此外，该方法还成功实现了Waymo Open Motion与Argoverse 2 Motion Forecasting数据集之间的迁移学习，展示了其良好的泛化能力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升关节运动预测的准确性，JointMotion能够为自驾车的安全性和效率提供重要支持，未来可能在智能交通管理和人机协作中发挥更大作用。
📄 摘要（原文）
We present JointMotion, a self-supervised pre-training method for joint motion prediction in self-driving vehicles. Our method jointly optimizes a scene-level objective connecting motion and environments, and an instance-level objective to refine learned representations. Scene-level representations are learned via non-contrastive similarity learning of past motion sequences and environment context. At the instance level, we use masked autoencoding to refine multimodal polyline representations. We complement this with an adaptive pre-training decoder that enables JointMotion to generalize across different environment representations, fusion mechanisms, and dataset characteristics. Notably, our method reduces the joint final displacement error of Wayformer, HPTR, and Scene Transformer models by 3\%, 8\%, and 12\%, respectively; and enables transfer learning between the Waymo Open Motion and the Argoverse 2 Motion Forecasting datasets. Code: https://github.com/kit-mrt/future-motion