Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction

📄 arXiv: 2607.12293v1 📥 PDF

作者: Md Mahfuzur Rahman, Pengzhan Zhou, A F M Abdun Noor, Md Imam Ahasan, Kah Ong Michael Goh, S. M. Hasan Mahmud, Md Mustafizur Rahman, Kaixin Gao

分类: cs.CV

发布日期: 2026-07-14

备注: 17 pages, 5 figures, 4 tables. Under review at PeerJ Computer Science

💡 一句话要点

提出ADAPT框架以解决行人过马路意图预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人意图预测 多模态融合 稀疏注意力 自动驾驶 智能交通

📋 核心要点

  1. 现有方法通常依赖单一模态或密集多模态融合，无法有效捕捉行人过马路意图所需的互补信息。
  2. 本文提出ADAPT框架，通过联合建模视觉上下文和运动动态，利用稀疏注意力机制提升预测准确性。
  3. 在JAAD数据集上，ADAPT在JAADbeh上获得0.73的AUC，在JAADall上获得0.85的AUC，显示出显著的性能提升。

📝 摘要（中文）

行人过马路意图预测是自动驾驶中的安全关键任务，然而现有方法往往依赖单一模态输入或密集的多模态融合策略，无法充分捕捉互补的视觉和运动信息，同时引入冗余的跨模态交互。本文提出了ADAPT（自适应领域感知行人过马路变换器），这是一个多模态框架，能够联合建模局部和全局视觉上下文以及时间运动动态，以实现准确的行人过马路意图预测。ADAPT处理四种空间对齐的视觉模态，包括RGB图像、局部深度图、全局语义图和全局深度图，并结合自车速度、行人边界框和骨骼姿态信息，通过五个专门模块进行处理。实验结果表明，ADAPT在JAAD和PIE基准数据集上均优于现有最先进的方法，同时保持低计算复杂度。

🔬 方法详解

问题定义：本文旨在解决行人过马路意图预测中的信息捕捉不足问题。现有方法往往依赖单一模态输入或密集的多模态融合，导致无法有效整合视觉和运动信息，且引入冗余的跨模态交互。

核心思路：ADAPT框架的核心思想是通过联合建模局部和全局视觉上下文以及时间运动动态，利用稀疏注意力机制选择性保留最具信息量的跨模态交互，从而提高预测的准确性和效率。

技术框架：ADAPT的整体架构包括五个主要模块：1) 共享权重的Swin Transformer V2主干用于视觉特征提取；2) 跨模态引导注意力模块用于层次化视觉融合；3) 基于Mamba的运动特征编码模块用于高效的时间建模；4) 稀疏跨模态注意力模块选择性保留重要的跨模态交互；5) 基于视觉变换器的时间特征融合模块用于序列级预测。

关键创新：ADAPT的关键创新在于引入稀疏跨模态注意力机制，能够有效减少冗余信息的干扰，提升模型在复杂场景下的预测能力。这一设计与现有方法的密集融合策略形成了鲜明对比。

关键设计：在模型设计中，采用了共享权重的Swin Transformer V2作为主干网络，确保了特征提取的高效性。同时，损失函数的设计考虑了多模态信息的平衡，确保了模型在不同模态下的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在JAAD数据集上，ADAPT在JAADbeh上获得0.73的AUC，在JAADall上获得0.85的AUC，而在PIE数据集上则取得了0.92的准确率和0.90的AUC。这些结果表明，ADAPT在行人过马路意图预测方面显著优于现有最先进的方法，同时每个样本的推理时间仅为17.23毫秒，展现了良好的实时部署能力。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统和自动驾驶技术，能够有效提升行人安全性和交通流畅性。通过准确预测行人过马路的意图，自动驾驶系统可以更好地做出反应，减少交通事故的发生。未来，该技术有望在城市交通管理和智能出行服务中发挥重要作用。

📄 摘要（原文）

Predicting pedestrian crossing intention is a safety-critical task for autonomous driving, yet existing approaches often rely on single-modal inputs or dense multimodal fusion strategies that inadequately capture complementary visual and kinematic information while introducing redundant inter-modal interactions. We propose ADAPT (Adaptive Domain-Aware Pedestrian Crossing Transformer), a multimodal framework that jointly models local and global visual context together with temporal motion dynamics for accurate pedestrian crossing intention prediction. ADAPT processes four spatially aligned visual modalities, including RGB images, local depth maps, global semantic maps, and global depth maps, together with ego-vehicle speed, pedestrian bounding boxes, and skeleton pose information through five specialized modules: a weight-shared Swin Transformer V2 backbone for visual feature extraction, a Cross-Modality Guided Attention module for hierarchical visual fusion, a Mamba-based Motion Feature Encoding module for efficient temporal modeling, a Sparse Cross-Modal Attention module that selectively preserves the most informative inter-modal interactions, and a Vision Transformer-based Temporal Feature Fusion module for sequence-level prediction. Extensive experiments on the JAAD and PIE benchmark datasets demonstrate that ADAPT consistently outperforms existing state-of-the-art methods while maintaining low computational complexity. On JAAD, the proposed method achieves an AUC of 0.73 on JAADbeh and 0.85 on JAADall, while on PIE it achieves an accuracy of 0.92 and an AUC of 0.90. Furthermore, ADAPT performs inference in only 17.23 ms per sample, offering an effective balance between predictive accuracy and real-time deployment efficiency for intelligent transportation and autonomous driving applications.