AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving
作者: Xiaosong Jia, Shaoshuai Shi, Zijun Chen, Li Jiang, Wenlong Liao, Tao He, Junchi Yan
分类: cs.CV, cs.RO
发布日期: 2024-03-20 (更新: 2024-03-21)
💡 一句话要点
提出AMP方法以改进自主驾驶中的运动预测问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动预测 自回归模型 因子化注意力 位置编码 自主驾驶 时空关系 深度学习
📋 核心要点
- 现有运动预测方法大多假设所有预测时间步在观察时间步条件下独立，导致性能瓶颈。
- 本文提出将GPT风格的下一个令牌预测引入运动预测，以实现输入输出的统一表示。
- AMP在Waymo数据集上表现优异，超越了MotionLM和StateTransformer等最新自回归运动预测方法。
📝 摘要（中文）
运动预测是自主驾驶中的一项关键任务，旨在预测周围物体的未来状态以便进行导航。现有方法通常假设所有预测时间步在观察时间步的条件下是独立的，使用单一线性层同时生成所有时间步的位置。本文引入了GPT风格的下一个令牌预测方法，使输入和输出能够在统一空间中表示，从而使自回归预测变得更加可行。为了解决驾驶场景中元素的复杂时空和语义关系，提出了三种因子化注意力模块和不同位置编码风格。通过这些设计，AMP在Waymo Open Motion和Waymo Interaction数据集上达到了最先进的性能，超越了其他自回归运动预测方法。
🔬 方法详解
问题定义：本文旨在解决自主驾驶中的运动预测问题，现有方法在处理复杂的时空关系时存在局限性，通常假设所有预测时间步是独立的，导致预测精度不足。
核心思路：通过引入GPT风格的下一个令牌预测，本文实现了输入和输出在统一空间中的表示，使得自回归预测更加可行，并能够更好地捕捉驾驶场景中的复杂关系。
技术框架：整体架构包括三个主要模块：因子化注意力模块、位置编码模块和自回归解码器。因子化注意力模块用于信息聚合，位置编码模块用于捕捉时空关系，自回归解码器则负责生成未来状态。
关键创新：最重要的创新在于引入了三种不同邻域的因子化注意力模块和多样化的位置编码方式，能够有效捕捉空间和时间的相对性，显著提升了运动预测的性能。
关键设计：在参数设置上，采用了多层感知机（MLP）作为基础网络结构，并设计了特定的损失函数以优化预测精度，特别是在处理复杂的时空关系时，使用了RoPE（相对位置编码）来增强时间相对性。
🖼️ 关键图片
📊 实验亮点
在Waymo Open Motion和Waymo Interaction数据集上，AMP方法表现出色，超越了MotionLM和StateTransformer等基线方法，展现出显著的性能提升，具体提升幅度未知，表明了所提设计的有效性。
🎯 应用场景
该研究在自主驾驶领域具有重要的应用价值，能够提高自动驾驶系统对周围环境的理解和预测能力，进而提升行车安全性和导航精度。未来，该方法还可扩展到其他需要时空预测的领域，如智能交通和机器人导航等。
📄 摘要（原文）
As an essential task in autonomous driving (AD), motion prediction aims to predict the future states of surround objects for navigation. One natural solution is to estimate the position of other agents in a step-by-step manner where each predicted time-step is conditioned on both observed time-steps and previously predicted time-steps, i.e., autoregressive prediction. Pioneering works like SocialLSTM and MFP design their decoders based on this intuition. However, almost all state-of-the-art works assume that all predicted time-steps are independent conditioned on observed time-steps, where they use a single linear layer to generate positions of all time-steps simultaneously. They dominate most motion prediction leaderboards due to the simplicity of training MLPs compared to autoregressive networks. In this paper, we introduce the GPT style next token prediction into motion forecasting. In this way, the input and output could be represented in a unified space and thus the autoregressive prediction becomes more feasible. However, different from language data which is composed of homogeneous units -words, the elements in the driving scene could have complex spatial-temporal and semantic relations. To this end, we propose to adopt three factorized attention modules with different neighbors for information aggregation and different position encoding styles to capture their relations, e.g., encoding the transformation between coordinate systems for spatial relativity while adopting RoPE for temporal relativity. Empirically, by equipping with the aforementioned tailored designs, the proposed method achieves state-of-the-art performance in the Waymo Open Motion and Waymo Interaction datasets. Notably, AMP outperforms other recent autoregressive motion prediction methods: MotionLM and StateTransformer, which demonstrates the effectiveness of the proposed designs.