MoST: Multi-modality Scene Tokenization for Motion Prediction

📄 arXiv: 2404.19531v1 📥 PDF

作者: Norman Mu, Jingwei Ji, Zhenpei Yang, Nate Harada, Haotian Tang, Kan Chen, Charles R. Qi, Runzhou Ge, Kratarth Goel, Zoey Yang, Scott Ettinger, Rami Al-Rfou, Dragomir Anguelov, Yin Zhou

分类: cs.CV

发布日期: 2024-04-30

备注: CVPR 2024

💡 一句话要点

提出多模态场景标记方法以解决运动预测中的感知误差问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动预测 多模态融合 场景标记 激光雷达 图像基础模型 开放词汇

📋 核心要点

  1. 现有运动预测方法依赖符号感知输出，易受感知错误影响，且缺乏对场景上下文的充分理解。
  2. 本文提出通过将视觉世界标记为场景元素，结合预训练的图像模型和激光雷达网络进行开放词汇编码。
  3. 在Waymo Open Motion Dataset上的实验表明，该方法显著提升了运动预测的性能，超越了现有最先进技术。

📝 摘要（中文）

许多现有的运动预测方法依赖于符号感知输出生成代理轨迹，如边界框、道路图信息和交通信号灯。这种符号表示是对现实世界的高层次抽象，可能使运动预测模型易受感知错误的影响，同时遗漏场景上下文中的重要信息。本文提出了一种将视觉世界标记为紧凑场景元素的方法，利用预训练的图像基础模型和激光雷达神经网络以开放词汇的方式编码所有场景元素。实验结果表明，该方法在Waymo Open Motion Dataset上显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决现有运动预测方法在符号感知输出中存在的脆弱性，特别是在检测开放词汇障碍物时的感知错误，以及对场景上下文信息的忽视。

核心思路：通过将视觉世界标记为一组紧凑的场景元素，利用预训练的图像基础模型和激光雷达神经网络进行编码，从而实现多模态信息的有效整合。

技术框架：整体架构包括场景元素的标记、图像基础模型的应用和激光雷达网络的结合，能够高效地处理多帧多模态观察，使用数百个标记进行编码。

关键创新：最重要的创新在于提出了一种开放词汇的场景标记方法，使得模型能够在不依赖于符号感知的情况下，充分利用视觉和几何信息，从而提高运动预测的准确性。

关键设计：在设计中，采用了预训练的图像基础模型以捕捉开放世界的通用知识，同时激光雷达网络用于编码几何信息，确保了多模态信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo Open Motion Dataset上的实验结果显示，本文方法在运动预测任务中相较于现有最先进技术实现了显著的性能提升，具体提升幅度达到XX%（具体数据未知），验证了该方法的有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、机器人导航和智能交通系统中，通过提高运动预测的准确性，可以显著提升系统的安全性和效率。未来，该方法可能推动更复杂场景下的智能决策与行为规划。

📄 摘要（原文）

Many existing motion prediction approaches rely on symbolic perception outputs to generate agent trajectories, such as bounding boxes, road graph information and traffic lights. This symbolic representation is a high-level abstraction of the real world, which may render the motion prediction model vulnerable to perception errors (e.g., failures in detecting open-vocabulary obstacles) while missing salient information from the scene context (e.g., poor road conditions). An alternative paradigm is end-to-end learning from raw sensors. However, this approach suffers from the lack of interpretability and requires significantly more training resources. In this work, we propose tokenizing the visual world into a compact set of scene elements and then leveraging pre-trained image foundation models and LiDAR neural networks to encode all the scene elements in an open-vocabulary manner. The image foundation model enables our scene tokens to encode the general knowledge of the open world while the LiDAR neural network encodes geometry information. Our proposed representation can efficiently encode the multi-frame multi-modality observations with a few hundred tokens and is compatible with most transformer-based architectures. To evaluate our method, we have augmented Waymo Open Motion Dataset with camera embeddings. Experiments over Waymo Open Motion Dataset show that our approach leads to significant performance improvements over the state-of-the-art.