Can Language Beat Numerical Regression? Language-Based Multimodal Trajectory Prediction

📄 arXiv: 2403.18447v1 📥 PDF

作者: Inhwan Bae, Junoh Lee, Hae-Gon Jeon

分类: cs.CL, cs.CV, cs.LG, cs.RO

发布日期: 2024-03-27

备注: Accepted at CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出LMTraj以解决行人轨迹预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人轨迹预测 多模态学习 语言模型 问答系统 数值标记器

📋 核心要点

  1. 现有的数值回归模型在处理行人轨迹预测时，往往将轨迹坐标视为连续信号，难以捕捉高层次的场景语义和社交关系。
  2. 本文提出LMTraj，通过将轨迹预测任务转化为问答问题，利用语言模型处理离散信号，从而提升预测能力。
  3. 实验结果显示，LMTraj在行人轨迹预测任务上超越了传统的数值预测方法，展示了语言模型在多模态任务中的潜力。

📝 摘要（中文）

语言模型在上下文理解和生成性能方面表现出色。受到语言基础模型成功的启发，本文提出LMTraj（基于语言的多模态轨迹预测器），将轨迹预测任务重新构建为一种问答问题。与传统的数值回归模型不同，LMTraj将轨迹坐标序列视为离散信号，首先将输入空间转换为自然语言空间。行人的时间序列轨迹被转换为文本提示，场景图像通过图像描述转换为文本信息。随后，将转换后的数值和图像数据包装成问答模板，以供语言模型使用。为了引导语言模型理解和推理高层次知识，本文引入了辅助的多任务问答。最后，使用数值标记器和所有问答提示训练语言模型，提出基于束搜索的最可能预测和基于温度的多模态预测，以实现确定性和随机推理。实验结果表明，LMTraj在行人轨迹预测中优于现有的数值预测方法。

🔬 方法详解

问题定义：本文旨在解决行人轨迹预测中的信息表达不足问题。现有的数值回归方法无法有效捕捉场景上下文和社交关系，导致预测精度低下。

核心思路：LMTraj通过将轨迹预测视为问答问题，利用语言模型的上下文理解能力，将轨迹坐标和场景信息转化为文本提示，从而实现更高效的预测。

技术框架：整体架构包括输入数据的转换、问答模板的构建、语言模型的训练和预测阶段。输入数据包括行人的轨迹坐标和场景图像，经过处理后形成问答格式供模型使用。

关键创新：LMTraj的核心创新在于将轨迹预测任务转化为问答形式，利用语言模型的强大能力来理解和推理高层次的场景信息，这与传统的数值回归方法本质上不同。

关键设计：在设计中，采用了数值标记器来分离整数和小数部分，并捕捉连续数字之间的关系。此外，使用了束搜索和温度调节的预测方法，以实现更灵活的推理能力。

📊 实验亮点

实验结果表明，LMTraj在行人轨迹预测任务中显著优于传统的数值预测方法，具体性能提升幅度达到XX%。通过与基线模型的对比，验证了语言模型在多模态任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆、行人行为分析等。通过提高行人轨迹预测的准确性，能够为城市规划、交通管理和安全监控等提供重要支持，具有显著的实际价值和未来影响。

📄 摘要（原文）

Language models have demonstrated impressive ability in context understanding and generative performance. Inspired by the recent success of language foundation models, in this paper, we propose LMTraj (Language-based Multimodal Trajectory predictor), which recasts the trajectory prediction task into a sort of question-answering problem. Departing from traditional numerical regression models, which treat the trajectory coordinate sequence as continuous signals, we consider them as discrete signals like text prompts. Specially, we first transform an input space for the trajectory coordinate into the natural language space. Here, the entire time-series trajectories of pedestrians are converted into a text prompt, and scene images are described as text information through image captioning. The transformed numerical and image data are then wrapped into the question-answering template for use in a language model. Next, to guide the language model in understanding and reasoning high-level knowledge, such as scene context and social relationships between pedestrians, we introduce an auxiliary multi-task question and answering. We then train a numerical tokenizer with the prompt data. We encourage the tokenizer to separate the integer and decimal parts well, and leverage it to capture correlations between the consecutive numbers in the language model. Lastly, we train the language model using the numerical tokenizer and all of the question-answer prompts. Here, we propose a beam-search-based most-likely prediction and a temperature-based multimodal prediction to implement both deterministic and stochastic inferences. Applying our LMTraj, we show that the language-based model can be a powerful pedestrian trajectory predictor, and outperforms existing numerical-based predictor methods. Code is publicly available at https://github.com/inhwanbae/LMTrajectory .