UTP-Bench: Uncertainty-aware Travel Planning Benchmark

📄 arXiv: 2609.02421v1 📥 PDF

作者: Etcharla Revanth Rao, Priyanshu Karmakar, Shubhojit Mallick, Manish Gupta, Shreya Ghosh, Abhik Jana

分类: cs.AI, cs.CL

发布日期: 2026-09-02

备注: 34 pages, 12 figures, 16 Tables, EMNLP 2026

💡 一句话要点

提出UTP-Bench以解决不确定性旅行规划问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性建模 旅行规划 大型语言模型 基准测试 数据集 交通管理 智能出行

📋 核心要点

  1. 现有的旅行规划基准测试未考虑不确定性，导致生成的行程在实际应用中可能失效。
  2. UTP-Bench通过整合真实旅行数据和不确定性模型，提供了一个新的评估框架以应对旅行计划中的随机性。
  3. 实验结果显示，当前最先进的LLMs在时间缓冲、延迟感知调度和人流敏感规划方面与人工生成计划存在显著差距。

📝 摘要（中文）

大型语言模型（LLMs）在自动化旅行行程生成方面表现出色，但现实中的旅行规划充满不确定性，如交通延误和人流波动等，这些因素常常使得原本可行的计划失效。现有的基准测试如TravelPlanner和TripCraft假设环境是确定性的，仅评估静态约束满足，忽视了在不确定性出现时生成计划的稳健性。为了解决这一局限性，本文提出了UTP-Bench，一个针对不确定性旅行规划的大规模基准数据集，涵盖印度504个城市的真实旅行数据，包括景点、餐厅、住宿和多模式交通网络。UTP-Bench通过整合经验延迟分布和人流密度模式，能够在随机条件下评估旅行计划的有效性。我们还提出了三个评估指标，量化生成行程在面对交通延误和人流变化时的稳健性。

🔬 方法详解

问题定义：本文旨在解决旅行规划中不确定性对行程生成的影响，现有方法未能考虑交通延误和人流波动等因素，导致生成的计划在实际应用中不够稳健。

核心思路：论文提出UTP-Bench，通过整合真实世界的旅行数据和不确定性模型，评估旅行计划在随机条件下的有效性，从而提高生成行程的稳健性。

技术框架：UTP-Bench包含多个模块，包括数据收集、延迟分布建模和评估指标设计。数据收集涵盖了印度504个城市的景点、餐厅和交通网络，延迟分布和人流密度模式用于模拟现实中的不确定性。

关键创新：UTP-Bench的主要创新在于引入了不确定性因素的评估，提出了Buffer Adequacy Score、Crowd-Aware Timing Score和Transport Delay Absorption Score等新指标，能够量化生成行程在面对不确定性时的稳健性。

关键设计：在设计中，采用了经验延迟分布和人流密度模式，确保生成的行程能够适应现实中的随机变化，评估指标则通过量化延迟和人流影响来评估行程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前的LLMs在生成行程时与人工生成的计划相比，在时间缓冲、延迟感知调度和人流敏感规划方面存在显著差距，尤其在这些领域的性能提升幅度达到20%以上，显示出UTP-Bench的有效性和必要性。

🎯 应用场景

UTP-Bench的研究成果可广泛应用于智能旅行规划系统、旅游行业的决策支持工具以及城市交通管理等领域。通过提高旅行计划的稳健性，该研究有助于提升用户体验，减少因不确定性导致的旅行计划失败，从而推动智能出行的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have recently demonstrated strong capabilities in automated travel itinerary generation. However, real- world travel planning is inherently uncertain: transportation delays, crowd fluctuations, and unexpected stochastic delays frequently inval- idate otherwise feasible schedules. Existing benchmarks like TravelPlanner and TripCraft assume deterministic environments, evaluating only static constraint satisfaction and ignoring whether generated plans remain robust when such uncertainties arise. To address this limitation, we introduce UTP-Bench1 , a large-scale benchmark for uncertainty-aware travel planning. The dataset integrates real-world travel data spanning 504 cities of India, including attractions, restau- rants, accommodations, and multi-modal trans- portation networks. To model realistic disrup- tions, UTP-Bench incorporates empirical delay distributions and crowd-density patterns col- lected from major cities, enabling evaluation of travel plans under stochastic conditions. We further propose three evaluation metrics, namely Buffer Adequacy Score (BAS), Crowd- Aware Timing Score (CATS), and Transport Delay Absorption Score (TDAS), which quan- tify the ability of generated itineraries to main- tain robustness against transit delays and crowd variability. Experiments with state-of-the-art LLMs like GPT-5, Qwen3, Mistral and Phi-4 re- veal substantial gaps between model-generated and human-authored plans, particularly in tem- poral buffering, delay-aware transportation scheduling, and crowd-sensitive planning.