TraveL: Transformer-based Multi-view Path Distributional Representation Learning

📄 arXiv: 2609.03427v1 📥 PDF

作者: Fang He, Tao-yang Fu, Wang-chien Lee

分类: cs.LG, cs.AI

发布日期: 2026-09-03

备注: 10 pages

💡 一句话要点

提出TraveL框架以解决路径表示学习中的旅行者行为多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 路径表示学习 Transformer 多视角学习 旅行者行为 区域相关性 智能交通 机器学习

📋 核心要点

  1. 现有路径表示学习方法未能充分考虑旅行者行为的多样性和区域相关性，导致表示能力不足。
  2. 本文提出TraveL框架，通过Transformer结构学习分布式路径表示，捕捉旅行者行为的多样性及区域内依赖关系。
  3. 实验结果显示，TraveL在旅行时间分布估计、路径相似性预测和目的地预测等任务上均显著优于现有方法。

📝 摘要（中文）

路径表示学习（PRL）在道路网络中受到越来越多的关注，因其在多种路径相关应用中的重要性。现有研究通常利用道路段和路径之间的共现关系来学习路径表示向量，但未能充分考虑旅行者行为的多样性及区域相关性。本文提出了一种新颖的基于Transformer的多视角分布式表示学习框架TraveL，通过捕捉旅行者行为的多样性和道路段区域内的依赖关系，学习分布式表示。该框架能够将路径及出发时间编码为分布式表示，并解码出可能的旅行者行为样本。实验结果表明，TraveL模型在合成和真实数据集上均优于现有最先进方法，提升幅度显著。

🔬 方法详解

问题定义：本文旨在解决路径表示学习中对旅行者行为多样性和区域相关性考虑不足的问题。现有方法主要依赖于道路段的共现关系，未能有效捕捉旅行者的行为模式和区域内的复杂依赖关系。

核心思路：论文提出的TraveL框架通过引入Transformer结构，结合多视角学习，能够更好地编码路径及其出发时间，从而生成丰富的分布式表示。这种设计能够有效捕捉不同旅行者的行为特征和区域间的关系。

技术框架：TraveL框架包括几个主要模块：首先，路径及出发时间的编码模块；其次，区域注意力机制用于捕捉道路段之间的相关性；最后，通过Kolmogorov-Smirnov检验对生成的旅行者行为样本进行评估，以优化模型训练。

关键创新：TraveL的主要创新在于引入区域注意力机制，能够有效编码道路段之间的复杂关系，并通过分布式表示学习捕捉旅行者行为的多样性。这与传统方法的单一共现关系学习形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化路径表示的准确性，并通过K-S检验来比较生成样本与真实数据的差异。此外，Transformer的多头注意力机制被用来增强模型对不同视角信息的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TraveL模型在旅行时间分布估计中相较于最先进方法提升了14.7%的均值K-S距离，在路径相似性预测中提升了16.7%的均值绝对误差（MAE），在目的地预测中提升了3.97%的MAE，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、路径规划、城市交通管理等。通过更准确地理解和预测旅行者行为，TraveL框架能够为交通流量优化、路径推荐和出行安全提供支持，具有重要的实际价值和社会影响。

📄 摘要（原文）

Path representation learning (PRL) for road networks has received increasing research attention, due to various path-related applications. Existing works on PRL typically exploit the co-occurrence relationship among road segments and paths to learn a vector as the path representation, without exploring the varied traveler behaviors and the regional correlation on the path. In this work, we propose to learn distributional representations, which provide valuable information for use in path-related applications, by capturing the varied traveler behaviors as well as the various dependencies within regions of road segments. We propose a novel Transformer-based Multi-view Distributional Representation Learning (TraveL) framework to encode a path along with a travel starting time to a distributional representation, which can be used to decode possible samples of on-path traveler behavior. Moreover, by analyzing the regional correlation which reveals various road segment relationships, we propose a regional attention to encode these correlations in a path. Also, we explore the idea of Kolmogorov-Smirnov (K-S) test to compare the sampled traveler behavior against the collected ground truth to facilitate training. Experimental results show that the proposed TraveL model outperforms the state-of-the-art methods on both synthetic and real-world datasets, by 14.7% in Mean K-S distance for travel time distribution estimation, 16.7% in Mean Absolute Error (MAE) for path similarity prediction, and 3.97% in MAE for destination prediction.