Large Language Models for Travel Behavior Prediction

📄 arXiv: 2312.00819v2 📥 PDF

作者: Baichuan Mo, Hanyong Xu, Ruoyun Ma, Jung-Hoon Cho, Dingyi Zhuang, Xiaotong Guo, Jinhua Zhao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-11-30 (更新: 2026-03-10)


💡 一句话要点

利用大型语言模型预测旅行行为以提升交通需求管理

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 旅行行为预测 大型语言模型 自然语言处理 交通需求管理 小样本学习

📋 核心要点

  1. 旅行行为预测的传统方法依赖于数值模型,面临数据需求高和适应性差的挑战。
  2. 论文提出了两种框架,利用大型语言模型进行零-shot预测和文本嵌入结合传统模型。
  3. 实验结果显示,所提方法在小样本情况下与经典模型相比,性能相当甚至更优。

📝 摘要(中文)

旅行行为预测是交通需求管理中的核心问题,传统方法依赖于基于观察数据的数值模型。随着大型语言模型(LLMs)的发展,利用自然语言推理建模人类决策的新机会出现。本研究探索了LLMs在旅行行为预测中的应用,提出了两个互补框架。第一个框架采用零-shot提示策略,直接生成预测而无需特定任务的训练数据。第二个框架将LLM生成的文本嵌入作为旅行场景的高层表示,与传统监督学习模型结合,以支持小样本预测。实证结果表明,这两种方法的性能与经典模型相当,甚至在某些情况下具有竞争力,表明LLMs为旅行行为预测提供了灵活且数据高效的替代方案。

🔬 方法详解

问题定义:本研究旨在解决旅行行为预测中的数据需求高和模型适应性差的问题。传统数值模型需要大量观察数据进行校准,限制了其在动态环境中的应用。

核心思路:论文的核心思路是利用大型语言模型(LLMs)进行旅行行为预测,通过自然语言处理能力来理解和生成预测结果,减少对特定训练数据的依赖。

技术框架:整体架构包括两个主要模块:第一个模块是零-shot提示策略,直接通过文本描述生成预测;第二个模块是将LLM生成的文本嵌入与传统监督学习模型结合,进行小样本预测。

关键创新:最重要的技术创新在于将LLMs应用于旅行行为预测,提供了一种灵活且数据高效的替代方案,与传统方法相比,显著降低了对训练数据的依赖。

关键设计:在零-shot提示中,设计了有效的文本描述策略;在嵌入结合中,采用了高层次的文本嵌入表示,确保与传统模型的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明,所提的零-shot提示和文本嵌入结合方法在旅行行为预测中表现优异,部分情况下其性能超过了经典模型如多项式逻辑回归、随机森林和神经网络,展示了LLMs在小样本条件下的强大能力。

🎯 应用场景

该研究的潜在应用领域包括城市交通规划、旅游管理和智能出行服务等。通过提高旅行行为预测的准确性,能够更好地支持交通需求管理和资源配置,提升出行效率,减少拥堵和排放,具有重要的实际价值和社会影响。

📄 摘要(原文)

Travel behavior prediction is a core problem in transportation demand management and is traditionally addressed using numerical models calibrated on observed data. With recent advances in large language models (LLMs), new opportunities have emerged to model human decision-making through natural language reasoning. This study explores the use of LLMs for travel behavior prediction through two complementary frameworks. The first framework employs a zero-shot prompting strategy, where the prediction task, traveler attributes, and relevant domain knowledge are described in text, enabling the LLM to directly generate predictions without task-specific training data. The second framework uses LLM-generated text embeddings as high-level representations of travel scenarios, which are then combined with conventional supervised learning models to support prediction in small-sample settings. Empirical results show that both approaches achieve performance comparable to, and in some cases competitive with, classical models such as multinomial logit, random forest, and neural networks. These findings suggest that LLMs offer a flexible and data-efficient alternative for travel behavior prediction.