Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

📄 arXiv: 2606.23058v1 📥 PDF

作者: Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

分类: cs.CV

发布日期: 2026-06-22

💡 一句话要点

提出三步层次Transformer以解决多行人轨迹预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人轨迹预测 层次Transformer 多模态融合 社会互动 时间动态

📋 核心要点

  1. 现有行人轨迹预测方法在处理时间动态和社会互动时存在不足，导致可扩展性和灵活性受限。
  2. 本文提出的三步层次Transformer通过分离时间编码、多模态融合和场景互动推理来解决上述问题，提升了模型的效率和可解释性。
  3. 实验结果表明，该方法在多个真实数据集上达到了最先进的性能，尤其是在JRDB和Urban数据集上表现突出。

📝 摘要（中文）

行人轨迹预测需要建模时间动态、多模态线索和拥挤环境中的社会互动。现有方法通常分别处理这些因素或将其纠缠在成本高昂的注意力模块中，限制了可扩展性、灵活性和可解释性。本文提出了一种三步层次Transformer，明确分离时间编码、多模态融合和场景级互动推理。轻量级GRU摘要实现高效的跨模态注意力，而时间-代理令牌的社会注意力则以可管理的成本捕捉行人间的相互影响。在JTA、JRDB和道路交通中的行人和骑自行车者数据集上的实验显示，该方法在真实世界数据集（JRDB、Urban）上表现出色，并在JTA上取得了竞争性结果。消融和定性分析确认了每个阶段的贡献以及模型预测复杂行为（如提前转向）的能力。

🔬 方法详解

问题定义：行人轨迹预测面临的主要挑战是如何有效建模时间动态、社会互动和多模态信息。现有方法往往将这些因素混合在一起，导致计算成本高且难以解释。

核心思路：本文提出的三步层次Transformer通过明确分离时间编码、多模态融合和场景级互动推理，旨在提高模型的可扩展性和灵活性，同时保持较低的计算成本。

技术框架：该模型分为三个主要模块：首先是时间编码模块，使用GRU对时间序列进行摘要；其次是多模态融合模块，实现不同模态信息的高效交互；最后是场景级互动推理模块，利用社会注意力机制捕捉行人间的相互影响。

关键创新：本研究的创新点在于将时间动态、模态融合和社会互动分开处理，避免了传统方法中高昂的计算成本，同时提升了模型的可解释性和灵活性。

关键设计：模型采用轻量级GRU进行时间信息的摘要，设计了高效的跨模态注意力机制，并通过时间-代理令牌的社会注意力捕捉行人间的相互影响，确保了计算的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在JTA、JRDB和Urban数据集上的实验结果显示，本文方法在JRDB和Urban数据集上达到了最先进的性能，且在JTA上也取得了竞争性结果。具体而言，模型在JRDB数据集上的表现优于现有最优方法，提升幅度显著，验证了其有效性和实用性。

🎯 应用场景

该研究在智能交通系统、自动驾驶车辆和人机交互等领域具有广泛的应用潜力。通过准确预测行人轨迹，可以提高交通安全性，优化交通流量，并为智能城市的建设提供支持。未来，该模型的灵活性和可扩展性可能推动更多复杂场景下的应用。

📄 摘要（原文）

Pedestrian trajectory prediction requires modeling temporal dynamics, multimodal cues, and social interactions in crowded environments. Existing methods often address these factors separately or entangle them in costly attention blocks, limiting scalability, flexibility, and interpretability. We propose a three-step hierarchical Transformer that explicitly separates temporal encoding, multimodal fusion, and scene-level interaction reasoning. Lightweight GRU summaries enable efficient cross-modal attention, while social attention over time--agent tokens captures inter-pedestrian influences at manageable cost. Experiments on JTA, JRDB, and the Pedestrians and Cyclists in Road Traffic dataset show state-of-the-art performance on real-world datasets (JRDB, Urban) and competitive results on JTA. Ablation and qualitative analyses confirm the contribution of each stage and the model's ability to anticipate complex behaviors such as early turning.