WTTFNet: A Weather-Time-Trajectory Fusion Network for Pedestrian Trajectory Prediction in Urban Complex

📄 arXiv: 2405.18945v1 📥 PDF

作者: Ho Chun Wu, Esther Hoi Shan Lau, Paul Yuen, Kevin Hung, John Kwok Tai Chui, Andrew Kwok Fai Lui

分类: cs.CV, cs.LG

发布日期: 2024-05-29

备注: 12 pages, 7 figures

💡 一句话要点

WTTFNet：融合天气-时间-轨迹信息的行人轨迹预测网络，提升城市复杂环境下的预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人轨迹预测 多模态融合 天气信息 时间信息 深度学习 城市环境 焦点损失

📋 核心要点

  1. 城市复杂环境下的行人轨迹预测面临挑战，行人可能前往商店、扶梯、景点等多个目的地。
  2. WTTFNet通过融合天气和时间信息，并使用门控多模态单元融合多模态信息和轨迹深度表示，提升预测精度。
  3. 在大阪ATC数据集上，WTTFNet在分类精度上提升23.67%，平均位移误差降低9.16%，最终位移误差降低7.07%。

📝 摘要（中文）

本文提出了一种新的天气-时间-轨迹融合网络(WTTFNet)，旨在提升深度神经网络在城市复杂环境中行人轨迹预测的性能。该网络通过嵌入天气和时间信息，并利用基于门控多模态单元的WTTFNet融合多模态信息和轨迹的深度表示。此外，采用基于焦点损失的联合损失函数，共同优化深度轨迹特征和最终分类器，从而提高在类别不平衡情况下预测行人预期目的地的准确性，进而提升轨迹预测的精度。在大阪ATC数据集上的实验结果表明，与现有算法相比，该方法在分类精度上提高了23.67%，平均位移误差降低了9.16%，最终位移误差降低了7.07%。该方法可作为一种有吸引力的方案，用于改进现有基线轨迹预测模型，尤其是在受天气-时间条件影响的场景中。它可应用于行人设施工程、公共空间开发和技术驱动的零售等领域。

🔬 方法详解

问题定义：城市复杂环境下的行人轨迹预测，由于行人目的地多样性以及天气、时间等因素的影响，现有方法难以准确预测行人轨迹。尤其是在类别不平衡的情况下，预测精度会进一步下降。现有方法通常忽略了天气和时间等外部因素对行人行为的影响，导致预测结果不准确。

核心思路：论文的核心思路是将天气和时间信息作为嵌入结构融入到轨迹预测模型中，利用门控多模态单元融合多模态信息，并使用联合损失函数共同优化轨迹特征和分类器。通过考虑天气和时间的影响，模型能够更好地理解行人的行为模式，从而提高预测精度。

技术框架：WTTFNet的整体架构包含以下几个主要模块：1) 轨迹特征提取模块，用于提取行人历史轨迹的深度表示；2) 天气和时间信息嵌入模块，将天气和时间信息转换为嵌入向量；3) 门控多模态融合模块，利用门控机制融合轨迹特征和天气时间嵌入向量；4) 分类器，用于预测行人的目的地；5) 联合损失函数，用于共同优化轨迹特征和分类器。

关键创新：该论文的关键创新在于：1) 提出了WTTFNet，一种融合天气、时间和轨迹信息的网络结构；2) 使用门控多模态单元融合多模态信息，能够自适应地调整不同模态信息的权重；3) 采用基于焦点损失的联合损失函数，解决了类别不平衡问题，并共同优化轨迹特征和分类器。

关键设计：天气和时间信息被编码成嵌入向量，并与轨迹特征进行融合。门控多模态单元使用sigmoid函数生成门控值，用于控制不同模态信息的权重。焦点损失函数通过调整权重来解决类别不平衡问题。网络结构采用多层感知机和循环神经网络相结合的方式，以提取轨迹的时序特征。

📊 实验亮点

实验结果表明，WTTFNet在大阪ATC数据集上取得了显著的性能提升。与现有算法相比，分类精度提高了23.67%，平均位移误差降低了9.16%，最终位移误差降低了7.07%。这些结果表明，WTTFNet能够有效地融合天气、时间和轨迹信息，从而提高行人轨迹预测的准确性。

🎯 应用场景

该研究成果可应用于行人设施工程，例如优化行人通道设计，提升行人通行效率。在公共空间开发方面，可以根据天气和时间预测人流量，合理规划空间布局。此外，该技术还可应用于技术驱动的零售领域，例如根据天气和时间调整商品陈列，提升销售额。未来，该技术有望应用于智能交通系统，提升城市交通管理水平。

📄 摘要（原文）

Pedestrian trajectory modelling in an urban complex is challenging because pedestrians can have many possible destinations, such as shops, escalators, and attractions. Moreover, weather and time-of-day may affect pedestrian behavior. In this paper, a new weather-time-trajectory fusion network (WTTFNet) is proposed to improve the performance of baseline deep neural network architecture. By incorporating weather and time-of-day information as an embedding structure, a novel WTTFNet based on gate multimodal unit is used to fuse the multimodal information and deep representation of trajectories. A joint loss function based on focal loss is used to co-optimize both the deep trajectory features and final classifier, which helps to improve the accuracy in predicting the intended destination of pedestrians and hence the trajectories under possible scenarios of class imbalances. Experimental results using the Osaka Asia and Pacific Trade Center (ATC) dataset shows improved performance of the proposed approach over state-of-the-art algorithms by 23.67% increase in classification accuracy, 9.16% and 7.07% reduction of average and final displacement error. The proposed approach may serve as an attractive approach for improving existing baseline trajectory prediction models when they are applied to scenarios with influences of weather-time conditions. It can be employed in numerous applications such as pedestrian facility engineering, public space development and technology-driven retail.