STC-MGNet: Spatial-Temporal-Channel Attention-Enhanced Multimodal Graph Network for Pedestrian Intention Prediction

📄 arXiv: 2610.23356v1 📥 PDF

作者: Yuanzhe Li, Meng Wang

分类: cs.CV

发布日期: 2026-10-16

💡 一句话要点

提出STC-MGNet以解决行人意图预测中的时空信息捕捉问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人意图预测 多模态图网络 空间-时间-通道注意力 自动驾驶 交通安全 深度学习

📋 核心要点

  1. 现有方法在捕捉行人姿态序列中的细微时空模式和整合视觉与自车运动信息方面存在不足，影响预测准确性。
  2. 本文提出STC-MGNet，通过空间-时间-通道注意力机制增强姿态图编码器，学习行人姿态序列的区分性表示。
  3. 实验结果显示，STC-MGNet在多个数据集上表现优异，准确率显著高于传统基线方法，验证了方法的有效性。

📝 摘要（中文）

准确预测行人过马路的意图在增强自动驾驶中行人与车辆的安全交互方面至关重要。然而，捕捉行人姿态序列中的细微时空模式以及整合视觉与自车运动信息仍然具有挑战性。本文提出了一种空间-时间-通道注意力增强的多模态图网络（STC-MGNet），用于行人过马路意图预测。STC-MGNet引入了一种空间-时间-通道（STC）注意力增强的姿态图编码器，从行人姿态序列中学习区分性表示。三个并行的注意力分支选择性地强调信息丰富的骨骼关节、观察帧和特征通道，并通过可学习的融合权重整合输出。为了利用互补的视觉和自车运动信息，提出了一种多阶段跨模态通道调制机制，通过模态特定的通道门控在连续的图编码阶段自适应地细化姿态表示。实验结果表明，STC-MGNet在JAADbeh、JAADall和PIE数据集上分别达到了70%、87%和88%的准确率，超越了多种代表性基线方法。

🔬 方法详解

问题定义：本文旨在解决行人过马路意图预测中的时空信息捕捉和多模态信息整合问题。现有方法在这方面的表现不佳，导致预测准确率低下。

核心思路：STC-MGNet通过引入空间-时间-通道注意力机制，增强了对行人姿态序列的表示学习能力，能够更好地捕捉时空特征和整合多模态信息。

技术框架：STC-MGNet的整体架构包括一个姿态图编码器和一个多阶段跨模态通道调制机制。姿态图编码器通过三个并行的注意力分支处理输入数据，而跨模态机制则在不同阶段自适应调整通道表示。

关键创新：最重要的创新点在于引入了空间-时间-通道注意力机制和多阶段跨模态通道调制，显著提升了对行人姿态和车辆运动信息的整合能力，与现有方法相比具有本质区别。

关键设计：在网络设计中，采用了可学习的融合权重来整合不同注意力分支的输出，并在多阶段中应用模态特定的通道门控，以优化姿态表示的学习过程。具体的损失函数和参数设置在实验中进行了详细调优。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

STC-MGNet在JAADbeh、JAADall和PIE数据集上分别达到了70%、87%和88%的准确率，显著优于多种基线方法，验证了其在行人意图预测中的有效性。通过消融实验，进一步强调了视觉信息和自车运动信息对预测性能的互补贡献。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统中的行人安全监测、智能交通管理和人机交互等。通过提高行人意图预测的准确性，可以有效减少交通事故的发生，提升行人和驾驶员的安全性。未来，该技术有望在智能城市和自动驾驶车辆的广泛应用中发挥重要作用。

📄 摘要（原文）

Accurate prediction of pedestrian crossing intentions plays a critical role in enhancing the safety of pedestrian-vehicle interactions in autonomous driving. However, effectively capturing subtle spatiotemporal patterns in pedestrian pose sequences and integrating complementary visual and ego-vehicle motion information remain challenging. This paper proposes a spatial-temporal-channel attention-enhanced multimodal graph network (STC-MGNet) for pedestrian crossing intention prediction. STC-MGNet introduces a spatial-temporal-channel (STC) attention-enhanced pose graph encoder to learn discriminative representations from pedestrian pose sequences. Three parallel attention branches selectively emphasize informative skeletal joints, observation frames, and feature channels, with their outputs integrated through learnable fusion weights. To leverage complementary visual and ego-vehicle motion information, a multi-stage cross-modal channel modulation mechanism is introduced to adaptively refine pose representations through modality-specific channel gating at successive graph encoding stages. Experimental results demonstrate that STC-MGNet achieves accuracy rates of 70%, 87%, and 88% on the JAADbeh, JAADall, and PIE datasets, respectively, outperforming several representative baseline methods. Ablation experiments further highlight the complementary contributions of visual and ego-vehicle motion information to prediction performance.