Hazy Pedestrian Trajectory Prediction via Physical Priors and Graph-Mamba

📄 arXiv: 2509.24020v1 📥 PDF

作者: Jian Chen, Zhuoran Zheng, Han Hu, Guijuan Zhang, Dianjie Lu, Liang Li, Chen Lyu

分类: cs.CV

发布日期: 2025-09-28

💡 一句话要点

提出基于物理先验和Graph-Mamba的行人轨迹预测模型，解决雾天环境下的预测难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 行人轨迹预测 雾天环境 物理先验 图神经网络 状态空间模型 Mamba 异构图注意力网络

📋 核心要点

  1. 雾天导致物理信息退化，现有行人轨迹预测方法难以有效建模行人交互。
  2. 结合大气散射物理先验和Graph-Mamba，解耦雾浓度与光衰减，自适应建模长程依赖，异构图建模行人关系。
  3. 在浓雾场景下，minADE/minFDE指标分别降低了37.2%和41.5%，显著提升预测精度。

📝 摘要（中文）

本文针对雾天环境下行人轨迹预测中物理信息退化和行人交互建模不足的问题，提出了一种结合大气散射物理先验和行人关系拓扑建模的深度学习模型。该模型首先构建了一个可微分的大气散射模型，通过物理参数估计网络将雾浓度与光衰减解耦，从而学习雾霾缓解的特征表示。其次，设计了一种自适应扫描状态空间模型用于特征提取，该自适应Mamba变体在保持长程依赖建模的同时，推理速度提高了78%。此外，为了有效地建模行人关系，开发了一个异构图注意力网络，使用图矩阵建模行人间和群体间的多粒度交互，并结合时空融合模块来捕获行人运动的协同演化模式。最后，构建了一个新的基于ETH/UCY的行人轨迹预测数据集，以评估所提出方法的有效性。实验表明，在浓雾场景（能见度<30m）下，该方法相比SOTA模型，minADE/minFDE指标分别降低了37.2%和41.5%，为恶劣环境下智能交通系统中可靠感知提供了一种新的建模范式。

🔬 方法详解

问题定义：现有行人轨迹预测方法在雾天等恶劣环境下，由于光照衰减和信息损失，难以准确提取特征并建模行人之间的复杂交互关系，导致预测精度显著下降。尤其是在浓雾场景下，信息退化更加严重，传统方法难以有效应对。

核心思路：本文的核心思路是将大气散射的物理先验知识融入到深度学习模型中，通过可微分的大气散射模型来缓解雾霾对图像特征的影响。同时，利用改进的Mamba模型提取时序特征，并采用异构图注意力网络建模行人之间的多粒度交互关系，从而提升在雾天环境下的行人轨迹预测精度。

技术框架：该模型主要包含三个核心模块：1) 大气散射模型：用于解耦雾浓度和光衰减，提取雾霾缓解的特征表示；2) 自适应扫描状态空间模型（Adaptive Mamba）：用于高效提取时序特征，建模长程依赖关系；3) 异构图注意力网络：用于建模行人之间以及行人与群体之间的多粒度交互关系。这三个模块协同工作，最终实现准确的行人轨迹预测。

关键创新：该论文的关键创新点在于：1) 将大气散射的物理先验知识融入到深度学习模型中，实现了雾霾缓解的特征表示；2) 提出了自适应扫描状态空间模型，在保持长程依赖建模能力的同时，显著提升了推理速度；3) 设计了异构图注意力网络，能够有效建模行人之间以及行人与群体之间的多粒度交互关系。

关键设计：大气散射模型采用可微分的设计，以便与深度学习模型进行端到端训练。自适应Mamba通过调整扫描方式来优化计算效率。异构图注意力网络使用不同的图矩阵来表示不同类型的行人关系，并采用注意力机制来学习不同关系的重要性。损失函数方面，可能采用了ADE (Average Displacement Error) 和 FDE (Final Displacement Error) 等常用的轨迹预测评价指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在浓雾场景（能见度<30m）下，该方法相比SOTA模型，minADE指标降低了37.2%，minFDE指标降低了41.5%。自适应Mamba变体在保持长程依赖建模的同时，推理速度提高了78%。这些数据表明该方法在雾天环境下的行人轨迹预测方面具有显著优势。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、视频监控等领域，尤其是在雾霾、雨雪等恶劣天气条件下，能够提升行人轨迹预测的准确性和可靠性，从而提高交通安全性和智能化水平。未来可进一步扩展到其他恶劣环境下的目标跟踪和行为预测任务。

📄 摘要（原文）

To address the issues of physical information degradation and ineffective pedestrian interaction modeling in pedestrian trajectory prediction under hazy weather conditions, we propose a deep learning model that combines physical priors of atmospheric scattering with topological modeling of pedestrian relationships. Specifically, we first construct a differentiable atmospheric scattering model that decouples haze concentration from light degradation through a network with physical parameter estimation, enabling the learning of haze-mitigated feature representations. Second, we design an adaptive scanning state space model for feature extraction. Our adaptive Mamba variant achieves a 78% inference speed increase over native Mamba while preserving long-range dependency modeling. Finally, to efficiently model pedestrian relationships, we develop a heterogeneous graph attention network, using graph matrices to model multi-granularity interactions between pedestrians and groups, combined with a spatio-temporal fusion module to capture the collaborative evolution patterns of pedestrian movements. Furthermore, we constructed a new pedestrian trajectory prediction dataset based on ETH/UCY to evaluate the effectiveness of the proposed method. Experiments show that our method reduces the minADE / minFDE metrics by 37.2% and 41.5%, respectively, compared to the SOTA models in dense haze scenarios (visibility < 30m), providing a new modeling paradigm for reliable perception in intelligent transportation systems in adverse environments.