MultiFuser: Multimodal Fusion Transformer for Enhanced Driver Action Recognition

📄 arXiv: 2408.01766v2 📥 PDF

作者: Ruoyu Wang, Wenqian Wang, Jianjun Gao, Dan Lin, Kim-Hui Yap, Bingbing Li

分类: cs.CV

发布日期: 2024-08-03 (更新: 2024-08-17)

💡 一句话要点

提出MultiFuser，利用多模态融合Transformer增强驾驶员行为识别。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 驾驶员行为识别 多模态融合 Transformer 深度学习 智能驾驶

📋 核心要点

  1. 现有驾驶员行为识别方法在光线不足等复杂环境下表现不佳，且缺乏对多模态信息的有效融合。
  2. MultiFuser通过双分解模块建模时空特征，并利用模态合成器自适应地整合不同模态的特征。
  3. 在Drive&Act数据集上的实验表明，MultiFuser能够有效提升驾驶员行为识别的准确性。

📝 摘要（中文）

驾驶员行为识别对于增强人车交互和确保驾驶安全至关重要。与通用行为识别不同，驾驶环境通常具有挑战性，光线昏暗。随着传感器的发展，红外和深度相机等各种相机被用于分析驾驶员的行为。因此，本文提出了一种新的多模态融合Transformer，名为MultiFuser，它识别多模态车舱视频之间的跨模态相互关系和交互，并自适应地整合不同的模态以改进表征。具体来说，MultiFuser包含多层双分解模块，用于建模时空特征，并包含一个模态合成器用于多模态特征集成。每个双分解模块包括一个模态专家ViT块，用于提取模态特定特征，以及一个逐块自适应融合块，用于高效的跨模态融合。在Drive&Act数据集上进行了大量实验，结果表明了我们提出的方法的有效性。

🔬 方法详解

问题定义：论文旨在解决驾驶员行为识别在复杂环境下的准确率问题，尤其是在光线昏暗等情况下，现有方法难以有效利用多模态信息（如RGB、IR、Depth）进行融合，导致识别精度下降。

核心思路：论文的核心思路是设计一个多模态融合Transformer，能够自适应地学习不同模态之间的相互关系和交互，并有效地融合这些模态的信息，从而提升驾驶员行为识别的准确性。通过模态专家ViT提取模态特定特征，再通过逐块自适应融合块进行跨模态融合。

技术框架：MultiFuser的整体架构包含多个Bi-decomposed Modules，每个模块包含一个Modal Expertise ViT block和一个Patch-wise Adaptive Fusion block。Modal Expertise ViT block负责提取每个模态的特定特征，Patch-wise Adaptive Fusion block负责将不同模态的特征进行融合。此外，还有一个模态合成器用于多模态特征的集成。整个网络通过Transformer结构进行端到端训练。

关键创新：论文的关键创新在于Bi-decomposed Module的设计，它将模态特定特征提取和跨模态融合解耦，使得网络能够更好地学习不同模态的特征表示和它们之间的关系。Patch-wise Adaptive Fusion block能够自适应地调整不同模态特征的权重，从而实现更有效的跨模态融合。

关键设计：Modal Expertise ViT block采用ViT结构，针对每个模态进行特征提取。Patch-wise Adaptive Fusion block通过注意力机制学习不同模态特征的权重，并进行加权融合。损失函数未知，但推测是标准的交叉熵损失或其他行为识别相关的损失函数。具体的网络参数设置在论文中应该有详细描述，这里未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在Drive&Act数据集上进行了实验，结果表明MultiFuser能够有效地提升驾驶员行为识别的准确性。具体的性能数据和对比基线未知，但摘要中提到实验结果“demonstrate the efficacy of our proposed approach”，说明MultiFuser相比现有方法具有显著的优势。

🎯 应用场景

该研究成果可应用于智能驾驶辅助系统（ADAS）和自动驾驶系统，通过准确识别驾驶员的行为，可以及时发出警告或采取干预措施，从而提高驾驶安全性。此外，还可以应用于驾驶员疲劳检测、注意力分散检测等领域，为驾驶员提供更全面的安全保障。

📄 摘要（原文）

Driver action recognition, aiming to accurately identify drivers' behaviours, is crucial for enhancing driver-vehicle interactions and ensuring driving safety. Unlike general action recognition, drivers' environments are often challenging, being gloomy and dark, and with the development of sensors, various cameras such as IR and depth cameras have emerged for analyzing drivers' behaviors. Therefore, in this paper, we propose a novel multimodal fusion transformer, named MultiFuser, which identifies cross-modal interrelations and interactions among multimodal car cabin videos and adaptively integrates different modalities for improved representations. Specifically, MultiFuser comprises layers of Bi-decomposed Modules to model spatiotemporal features, with a modality synthesizer for multimodal features integration. Each Bi-decomposed Module includes a Modal Expertise ViT block for extracting modality-specific features and a Patch-wise Adaptive Fusion block for efficient cross-modal fusion. Extensive experiments are conducted on Drive&Act dataset and the results demonstrate the efficacy of our proposed approach.