Fine-tuning LLMs for Tourist Trajectory Prediction using Field Experiment Data
作者: Tatsuya Amano, Hirozumi Yamaguchi
分类: cs.CY, cs.LG
发布日期: 2026-08-21
备注: 5 pages, 4 figures. Accepted at the 2nd Workshop on AI for Urban Planning (AI4UP) at AAAI-26, Singapore, January 2026
💡 一句话要点
利用大语言模型优化游客轨迹预测以应对环境变化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 游客轨迹预测 上下文推理 流动性干预 微调技术 行为建模 数据驱动决策
📋 核心要点
- 现有方法难以预测游客行为，因为其决策高度依赖于天气和疲劳等上下文因素，导致模型无法泛化到未观察场景。
- 论文提出利用大语言模型（LLMs）进行微调，以适应特定目的地的游客轨迹，从而增强模型对上下文相关决策的推理能力。
- 实验结果显示，微调后的Llama-3.1-8B模型在566条轨迹上实现了49.1%的下一个兴趣点预测准确率，并在雨天等样本不足场景中表现优异。
📝 摘要（中文）
在旅游目的地评估流动性干预措施时，需要预测游客在不同条件下的行为。传统方法因游客决策受天气和疲劳等上下文因素影响而难以泛化。大语言模型通过预训练编码人类行为的常识知识，能够推理上下文相关的决策，并灵活整合异构信息。通过在地方轨迹上进行微调，将这种通用理解适应于特定目的地的模式。我们使用日本和歌山城公园的566条轨迹验证了这一方法，微调后的Llama-3.1-8B模型在下一个兴趣点的准确率达到49.1%，并在雨天等样本不足的场景中保持强劲表现，展示了有效的泛化能力。这为上下文相关的游客预测奠定了基础，并为流动性干预的反事实分析提供了基础。
🔬 方法详解
问题定义：本研究旨在解决传统游客行为预测方法在面对不同环境条件时的泛化能力不足的问题，尤其是天气和疲劳等上下文因素的影响。
核心思路：通过微调大语言模型（LLMs），将其预训练的常识知识与特定目的地的游客轨迹相结合，从而提高模型对上下文相关决策的理解和预测能力。
技术框架：整体方法包括数据收集、模型选择、微调过程和性能评估四个主要阶段。首先收集和歌山城公园的游客轨迹数据，然后选择Llama-3.1-8B模型进行微调，最后通过准确率等指标评估模型性能。
关键创新：本研究的创新在于将大语言模型应用于游客轨迹预测，利用其对人类行为的深刻理解来处理复杂的上下文因素，这与传统方法的单一特征依赖形成鲜明对比。
关键设计：在微调过程中，采用了适应性学习率和特定的损失函数，以优化模型在不同环境条件下的表现，确保模型能够有效学习到目的地特有的游客行为模式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，微调后的Llama-3.1-8B模型在566条轨迹上实现了49.1%的下一个兴趣点预测准确率，尤其在雨天等样本不足的场景中仍保持强劲表现，展示了模型的有效泛化能力。
🎯 应用场景
该研究的潜在应用领域包括旅游管理、城市规划和流动性干预分析。通过准确预测游客行为，相关部门可以更好地设计旅游体验、优化资源配置，并制定有效的流动性干预措施，从而提升游客满意度和目的地的可持续发展。
📄 摘要（原文）
Evaluating mobility interventions at tourist destinations requires predicting visitor behavior under varying conditions. Traditional methods struggle because tourist decisions depend heavily on context like weather and fatigue, yet models cannot generalize to unobserved scenarios. Large Language Models offer a solution by encoding commonsense knowledge about human behavior from pretraining, enabling reasoning about context-dependent decisions, while natural language representation flexibly integrates heterogeneous information. Fine-tuning on local trajectories adapts this general understanding to destination-specific patterns. We validate this approach using 566 trajectories from Wakayama Castle Park, Japan. Our fine-tuned Llama-3.1-8B achieves 49.1% next POI accuracy and maintains strong performance on undersampled scenarios like rainy days, demonstrating effective generalization. This establishes LLMs as high-fidelity behavior models for context-dependent tourist prediction, providing groundwork for counterfactual analysis of mobility interventions.