Where Will They Go? Modelling Multimodal Pedestrian Manoeuvres from Ego-centric Videos
作者: Yuxuan Xie, Nicolas Pugeault, Chongfeng Wei, Hubert P. H. Shum, Edmond S. L. Ho
分类: cs.CV, cs.LG
发布日期: 2026-06-17
备注: Accepted at The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026
💡 一句话要点
提出MMPM框架以解决行人轨迹预测中的多模态问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 行人轨迹预测 多模态学习 行为感知 条件变分自编码器 智能交通 自动驾驶 人机交互
📋 核心要点
- 现有的行人轨迹预测方法往往无法有效处理多模态分布，导致生成的轨迹不够真实。
- 本文提出的MMPM框架通过行为感知模块和模式感知预测模块，分别建模过马路和不过马路的轨迹，提升了预测的准确性。
- 在PIE和JAAD数据集上的实验结果显示，MMPM在帧级位移误差上优于现有方法，验证了其有效性。
📝 摘要（中文）
从自我中心摄像头进行行人轨迹预测是一项具有挑战性的任务，因为它依赖于与车辆和场景上下文的复杂交互，以及行人的意图。通过建模行人的历史和未来轨迹之间的相关性和意图，通常会导致多模态分布。现有的随机预测器往往从单一的单模态分布中采样多个未来，这可能导致不理想的“混合模式”轨迹。本文提出了MMPM，一个模式感知框架，基于行人的过马路行为，将未来轨迹分布分开建模为语义上有意义的模式。MMPM包括两个模块：行为感知的行人交互模块（PIM）和基于CVAE的模式感知轨迹预测模块（MTP），分别建模过马路和不过马路的未来轨迹分布。实验表明，该方法超越了现有的最先进基线。
🔬 方法详解
问题定义：本文旨在解决从自我中心摄像头进行行人轨迹预测中的多模态问题。现有方法通常从单一的单模态分布中生成轨迹，导致生成的轨迹在真实场景中显得不切实际。
核心思路：MMPM框架通过将未来轨迹分布分为过马路和不过马路两个语义模式，来更好地捕捉行人的意图和行为。通过引入行为感知模块，增强了对行人与环境及车辆交互的理解。
技术框架：MMPM由两个主要模块组成：行为感知的行人交互模块（PIM）和基于CVAE的模式感知轨迹预测模块（MTP）。PIM负责捕捉行人与车辆及环境的交互，而MTP则分别建模两种模式的未来轨迹分布。
关键创新：MMPM的主要创新在于其模式感知能力，能够将轨迹分布明确区分为不同的行为模式，而不是简单地从单一分布中采样。这一设计使得生成的轨迹更加符合真实场景。
关键设计：在模型设计中，PIM引入了注视、头部和手势等行为特征，而MTP则采用了条件变分自编码器（CVAE）来建模轨迹分布。此外，查询基础的解码器进一步增强了模式一致性，确保生成轨迹的合理性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MMPM在PIE和JAAD数据集上显著优于现有的最先进基线，具体表现为帧级位移误差的显著降低，验证了其在多模态轨迹预测中的有效性和优势。
🎯 应用场景
该研究在智能交通系统、自动驾驶车辆和人机交互等领域具有广泛的应用潜力。通过准确预测行人的轨迹，可以提高交通安全性，优化交通流量，并为自动驾驶系统提供更可靠的决策支持。未来，该方法还可以扩展到其他动态环境中的行为预测任务。
📄 摘要（原文）
Pedestrian trajectory prediction from an ego-centric camera is challenging since it depends on complex interactions with vehicles and scene context, as well as the intention of the pedestrian. By modelling correlation and intent from the historical and future trajectories of the pedestrian, it will usually result in a multimodal (i.e. multiple modes) distribution. Existing stochastic predictors often sample multiple futures from a single unimodal distribution, which can yield sub-optimal 'mixed-mode' trajectories that lie between distinct motion patterns and become implausible in real scenes. In this paper, we propose MMPM, a mode-aware framework that separately models future trajectory distributions into semantically meaningful modes based on the pedestrian's crossing behavior. MMPM consists of two modules: behavior-aware Pedestrian Interaction Module (PIM) that jointly captures pedestrian-vehicle and pedestrian-environment interactions by introducing gaze, head and hand gesture, and a CVAE-based Mode-aware Trajectory Predictor (MTP) module to model the future trajectory distributions on two modes, crossing and non-crossing the road, separately. A query-based decoder further enforces mode consistency during decoding. Experiments on PIE and JAAD datasets show that our method surpasses state-of-the-art baselines. Our proposed MTP is model-agnostic, which can be integrated into existing frameworks such as BiTrap-NP and SGNet-ED to further improve future trajectory prediction performance. We additionally introduce a data-driven validation protocol that matches predictions to spatio-temporally consistent ground-truth trajectories, demonstrating improved frame-wise displacement errors over previous work.