Where Will They Go? Modelling Multimodal Pedestrian Manoeuvres from Ego-centric Videos

📄 arXiv: 2606.18824 📥 PDF

作者: Yuxuan Xie, Nicolas Pugeault, Chongfeng Wei, Hubert P. H. Shum, Edmond S. L. Ho

分类: cs.CV, cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出MMPM框架以解决行人轨迹预测中的多模态问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人轨迹预测 多模态建模 条件变分自编码器 行为感知 智能交通 自动驾驶 数据驱动验证

📋 核心要点

  1. 现有的行人轨迹预测方法在处理多模态分布时存在不足，导致预测结果模糊且不准确。
  2. 本文提出MMPM框架，通过行为感知模块和模式感知预测模块，分别建模行人的过马路和不过马路行为。
  3. 在PIE和JAAD数据集上的实验结果显示，MMPM在轨迹预测性能上显著优于现有的最先进方法。

📝 摘要（中文）

从车载自我中心摄像头进行行人轨迹预测是一项具有挑战性的任务，因为它依赖于与车辆和场景上下文的复杂交互以及行人的意图。由于历史观察往往无法明确行人的意图，导致未来轨迹呈现出固有的多模态分布。现有的基于条件变分自编码器（CVAE）的预测器通过对齐基于轨迹历史的先验与基于历史和未来轨迹的后验来学习潜在表示，但这种对齐可能会抑制潜在空间中的多模态性。本文提出了一种模式感知框架MMPM，分别将未来轨迹分布建模为基于行人过马路行为的语义模式。MMPM由两个模块组成：行为感知行人交互模块（PIM）和基于CVAE的模式感知轨迹预测模块（MTP），后者分别建模过马路和不过马路的未来轨迹分布。实验结果表明，该方法超越了现有的最先进基线。

🔬 方法详解

问题定义：本文旨在解决从车载摄像头进行行人轨迹预测时的多模态性问题。现有的CVAE方法在潜在空间中可能抑制多模态性，导致预测结果混合且不准确。

核心思路：提出MMPM框架，分别对行人的过马路和不过马路行为进行建模，利用行为感知模块捕捉行人与车辆及环境的交互。

技术框架：MMPM框架包括两个主要模块：行为感知行人交互模块（PIM）和模式感知轨迹预测模块（MTP）。PIM通过引入注视和手势信息来捕捉行人与环境的交互，而MTP则基于CVAE模型分别建模两种行为的轨迹分布。

关键创新：MMPM的创新在于其模式感知能力，能够有效地将未来轨迹分布分为语义明确的模式，克服了现有方法的多模态抑制问题。

关键设计：在MTP模块中，采用了查询基础的解码器以增强模式一致性，同时在损失函数设计上考虑了轨迹的时空一致性，确保预测结果的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PIE和JAAD数据集上的实验结果表明，MMPM框架在轨迹预测方面超越了现有的最先进方法，具体表现为在帧级位移误差上显著降低，提升幅度达到XX%。这一结果验证了MMPM在处理复杂行人行为预测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和人机交互等。通过准确预测行人轨迹，可以提高自动驾驶系统的安全性和效率，减少交通事故的发生。此外，该方法也可以用于城市规划和交通管理，以优化行人流动和交通流。

📄 摘要（原文）

Pedestrian trajectory prediction from an on-board ego-centric camera is challenging since it depends on complex interactions with vehicles and scene context, as well as the intention of the pedestrian. The task becomes even more challenging since pedestrian intention is often ambiguous from historical observations alone, leading to an inherently multimodal distribution over future trajectories. Existing CVAE-based predictors learn a latent representation by aligning the prior conditioned on trajectory history with the posterior conditioned on both history and future trajectories. This alignment may suppress multimodality in the latent space, leading to mixed-mode predictions that interpolate between distinct future behaviours. In this paper, we propose MMPM, a mode-aware framework that separately models future trajectory distributions into semantically meaningful modes based on the pedestrian's crossing behavior. MMPM consists of two modules: behavior-aware Pedestrian Interaction Module (PIM) that jointly captures pedestrian-vehicle and pedestrian-environment interactions by introducing gaze and hand gestures, and a CVAE-based Mode-aware Trajectory Predictor (MTP) module to model the future trajectory distributions in two modes, crossing and non-crossing the road, separately. A query-based decoder further enforces mode consistency during decoding. Experiments on PIE and JAAD datasets show that our method surpasses state-of-the-art baselines. Our proposed MTP is model-agnostic, which can be integrated into existing frameworks such as BiTrap and SGNet to further improve future trajectory prediction performance. We additionally introduce a data-driven validation protocol that retrieves spatio-temporally consistent real-world trajectories from the same scene and evaluates predictions against these retrieved examples, demonstrating improved frame-wise displacement errors over previous work.