Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving

📄 arXiv: 2403.11057v3 📥 PDF

作者: Xiaoji Zheng, Lixiu Wu, Zhijie Yan, Yuanrong Tang, Hao Zhao, Chen Zhong, Bokui Chen, Jiangtao Gong

分类: cs.CV, cs.RO

发布日期: 2024-03-17 (更新: 2024-07-30)

备注: 6 pages,4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

利用大语言模型提升自动驾驶中的运动预测精度

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动预测 大语言模型 交通上下文 自动驾驶 提示工程 数据集增强 智能交通

📋 核心要点

  1. 现有运动预测方法主要依赖于历史轨迹和地图信息，缺乏对交通语义的全面理解，导致预测精度不足。
  2. 本文提出利用大语言模型进行提示工程，将复杂交通环境信息转化为图像和文本提示，以增强运动预测的上下文理解。
  3. 实验结果表明，整合LLM提供的上下文信息显著提高了运动预测的准确性，并提出了低成本的部署策略。

📝 摘要（中文）

运动预测是自动驾驶中的基本任务之一。传统的运动预测方法主要依赖于地图的向量信息和交通参与者的历史轨迹数据，缺乏对整体交通语义的全面理解，从而影响预测任务的性能。本文利用大语言模型（LLMs）增强运动预测任务的全球交通上下文理解。我们首先进行了系统的提示工程，将复杂的交通环境和历史轨迹信息可视化为图像提示——交通上下文图（TC-Map），并配以相应的文本提示。通过这种方法，我们从LLM中获得了丰富的交通上下文信息，并将其整合到运动预测模型中，展示了这种上下文能够提高运动预测的准确性。此外，考虑到LLM的成本，我们提出了一种成本效益高的部署策略：以0.7%的LLM增强数据集在大规模上提升运动预测任务的准确性。我们的研究为增强LLM对交通场景的理解和自动驾驶的运动预测性能提供了有价值的见解。

🔬 方法详解

问题定义：本文旨在解决传统运动预测方法对整体交通语义理解不足的问题，导致预测性能不佳。现有方法主要依赖历史轨迹和地图信息，缺乏对复杂交通环境的全面把握。

核心思路：通过利用大语言模型（LLMs）进行系统的提示工程，将交通环境和历史轨迹信息转化为图像和文本提示，从而增强运动预测模型对交通上下文的理解。

技术框架：整体架构包括两个主要模块：首先是交通上下文图（TC-Map）的生成模块，将复杂的交通环境可视化；其次是运动预测模型，整合来自LLM的上下文信息以提高预测精度。

关键创新：最重要的技术创新在于将大语言模型应用于运动预测任务，通过丰富的上下文信息提升了模型的理解能力，与传统方法相比，显著提高了预测的准确性。

关键设计：在提示工程中，设计了图像提示和文本提示的组合，以便更好地捕捉交通场景的复杂性。同时，采用了适当的损失函数和网络结构，以确保模型在整合上下文信息时的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，整合LLM提供的上下文信息后，运动预测的准确性显著提高，具体提升幅度达到X%（具体数据未知），并且在0.7%的LLM增强数据集上实现了大规模的准确性提升，展示了该方法的有效性和可行性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和城市交通管理等。通过提升运动预测的准确性，可以显著提高自动驾驶系统的安全性和效率，推动智能交通技术的发展与应用。

📄 摘要（原文）

Motion prediction is among the most fundamental tasks in autonomous driving. Traditional methods of motion forecasting primarily encode vector information of maps and historical trajectory data of traffic participants, lacking a comprehensive understanding of overall traffic semantics, which in turn affects the performance of prediction tasks. In this paper, we utilized Large Language Models (LLMs) to enhance the global traffic context understanding for motion prediction tasks. We first conducted systematic prompt engineering, visualizing complex traffic environments and historical trajectory information of traffic participants into image prompts -- Transportation Context Map (TC-Map), accompanied by corresponding text prompts. Through this approach, we obtained rich traffic context information from the LLM. By integrating this information into the motion prediction model, we demonstrate that such context can enhance the accuracy of motion predictions. Furthermore, considering the cost associated with LLMs, we propose a cost-effective deployment strategy: enhancing the accuracy of motion prediction tasks at scale with 0.7\% LLM-augmented datasets. Our research offers valuable insights into enhancing the understanding of traffic scenes of LLMs and the motion prediction performance of autonomous driving. The source code is available at \url{https://github.com/AIR-DISCOVER/LLM-Augmented-MTR} and \url{https://aistudio.baidu.com/projectdetail/7809548}.