MMTL-UniAD: A Unified Framework for Multimodal and Multi-Task Learning in Assistive Driving Perception

📄 arXiv: 2504.02264v1 📥 PDF

作者: Wenzhuo Liu, Wenshuo Wang, Yicheng Qiao, Qiannan Guo, Jiayin Zhu, Pengfei Li, Zilong Chen, Huiming Yang, Zhiwei Li, Lening Wang, Tiao Tan, Huaping Liu

分类: cs.CV

发布日期: 2025-04-03

🔗 代码/项目: GITHUB

💡 一句话要点

MMTL-UniAD：用于辅助驾驶感知的多模态多任务统一框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 辅助驾驶 多模态学习 多任务学习 注意力机制 知识迁移

📋 核心要点

  1. 现有辅助驾驶系统缺乏对驾驶员状态和交通环境的综合理解，忽略了任务间联合学习的潜在优势。
  2. MMTL-UniAD通过多轴区域注意力网络和双分支多模态嵌入，缓解任务间的负迁移，提升跨任务知识共享。
  3. 在AIDE数据集上的实验表明，MMTL-UniAD在驾驶员行为、情绪、车辆行为和交通环境识别任务上均超越现有方法。

📝 摘要（中文）

本文提出MMTL-UniAD，一个统一的多模态多任务学习框架，旨在同时识别驾驶员行为（如环顾四周、交谈）、驾驶员情绪（如焦虑、快乐）、车辆行为（如停车、转弯）和交通环境（如交通拥堵、交通顺畅）。该框架的关键挑战在于避免任务间的负迁移，这会损害学习性能。为了解决这个问题，我们引入了两个关键组件：一是多轴区域注意力网络，用于提取全局上下文敏感特征；二是双分支多模态嵌入，用于学习来自任务共享和任务特定特征的多模态嵌入。前者使用多注意力机制提取任务相关特征，减轻由任务无关特征引起的负迁移。后者采用双分支结构自适应地调整任务共享和任务特定参数，增强跨任务知识迁移，同时减少任务冲突。我们在AIDE数据集上评估了MMTL-UniAD，通过一系列消融研究表明，它在所有四个任务上都优于最先进的方法。代码已在https://github.com/Wenzhuo-Liu/MMTL-UniAD上发布。

🔬 方法详解

问题定义：现有先进驾驶辅助系统（ADAS）通常独立处理驾驶员状态感知和交通环境理解任务，忽略了它们之间的关联性。这种孤立的学习方式可能导致信息冗余和次优性能。此外，不同任务之间可能存在负迁移，即一个任务的学习会损害另一个任务的性能。因此，如何有效地整合多模态信息，并在多个相关任务之间实现知识共享，是当前ADAS感知面临的关键问题。

核心思路：MMTL-UniAD的核心思路是构建一个统一的多模态多任务学习框架，通过显式地建模任务之间的关系，实现知识的有效迁移和共享。该框架通过多轴区域注意力网络提取全局上下文敏感特征，并利用双分支多模态嵌入学习任务共享和任务特定特征，从而缓解任务间的负迁移，提升整体性能。

技术框架：MMTL-UniAD框架主要包含以下几个模块：1) 多模态输入层：接收来自不同传感器（如摄像头、麦克风）的输入数据。2) 多轴区域注意力网络：提取全局上下文敏感特征，关注与特定任务相关的区域。3) 双分支多模态嵌入：学习任务共享和任务特定特征，自适应地调整参数。4) 任务特定输出层：根据学习到的特征，预测驾驶员行为、情绪、车辆行为和交通环境。整个框架采用端到端的方式进行训练。

关键创新：MMTL-UniAD的关键创新在于：1) 提出了多轴区域注意力网络，能够有效地提取任务相关的特征，减少任务无关特征的干扰，从而缓解负迁移。2) 引入了双分支多模态嵌入，能够自适应地学习任务共享和任务特定特征，增强跨任务知识迁移，同时减少任务冲突。这种双分支结构允许模型在共享知识的同时，保持任务的独特性。

关键设计：多轴区域注意力网络采用多头注意力机制，每个头关注不同的区域和特征。双分支多模态嵌入包含一个共享分支和一个任务特定分支，通过可学习的权重来平衡两个分支的贡献。损失函数包括任务特定损失和跨任务一致性损失，用于约束模型学习一致的表示。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MMTL-UniAD在AIDE数据集上进行了全面的评估，实验结果表明，该框架在驾驶员行为识别、驾驶员情绪识别、车辆行为识别和交通环境识别四个任务上均取得了显著的性能提升，超越了现有的最先进方法。具体的性能数据和对比基线在论文中有详细展示，证明了MMTL-UniAD的有效性和优越性。

🎯 应用场景

MMTL-UniAD可应用于高级驾驶辅助系统（ADAS）和自动驾驶系统，提升对驾驶员状态和交通环境的综合理解能力。通过准确识别驾驶员的行为和情绪，系统可以提供更个性化的辅助驾驶功能，例如疲劳提醒、情绪调节等。同时，对交通环境的准确感知有助于车辆做出更安全、更合理的决策，例如自动变道、避让行人等。该研究的未来影响在于提高驾驶安全性、舒适性和智能化水平。

📄 摘要（原文）

Advanced driver assistance systems require a comprehensive understanding of the driver's mental/physical state and traffic context but existing works often neglect the potential benefits of joint learning between these tasks. This paper proposes MMTL-UniAD, a unified multi-modal multi-task learning framework that simultaneously recognizes driver behavior (e.g., looking around, talking), driver emotion (e.g., anxiety, happiness), vehicle behavior (e.g., parking, turning), and traffic context (e.g., traffic jam, traffic smooth). A key challenge is avoiding negative transfer between tasks, which can impair learning performance. To address this, we introduce two key components into the framework: one is the multi-axis region attention network to extract global context-sensitive features, and the other is the dual-branch multimodal embedding to learn multimodal embeddings from both task-shared and task-specific features. The former uses a multi-attention mechanism to extract task-relevant features, mitigating negative transfer caused by task-unrelated features. The latter employs a dual-branch structure to adaptively adjust task-shared and task-specific parameters, enhancing cross-task knowledge transfer while reducing task conflicts. We assess MMTL-UniAD on the AIDE dataset, using a series of ablation studies, and show that it outperforms state-of-the-art methods across all four tasks. The code is available on https://github.com/Wenzhuo-Liu/MMTL-UniAD.