IC3M: In-Car Multimodal Multi-object Monitoring for Abnormal Status of Both Driver and Passengers
作者: Zihan Fang, Zheng Lin, Senkang Hu, Hangcheng Cao, Yiqin Deng, Xianhao Chen, Yuguang Fang
分类: cs.CV, cs.AI, cs.LG, eess.SY
发布日期: 2024-10-03 (更新: 2024-11-21)
备注: 16 pages, 17 figures
💡 一句话要点
提出IC3M，用于车载多模态多对象监控驾驶员和乘客的异常状态
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 车载监控 多模态学习 异常状态检测 伪标签 模态缺失 驾驶员监控 乘客监控
📋 核心要点
- 现有车载监控方法在标记数据稀缺和类别不平衡的情况下，难以有效提取异常状态特征，导致训练性能下降。
- IC3M通过自适应阈值伪标签策略和缺失模态重建，有效利用有限的标记数据，提升异常状态检测的鲁棒性和准确性。
- 实验结果表明，IC3M在准确率、精确率和召回率方面均优于现有方法，并在数据受限情况下表现出更强的鲁棒性。
📝 摘要（中文）
本文提出了一种名为IC3M的高效车载多模态框架，用于监控驾驶员和乘客的异常状态。车载监控作为一项新兴技术，旨在检测驾驶员的早期异常状态并及时发出警报，以预防交通事故。尽管使用多模态数据训练模型可以提高异常状态检测的可靠性，但标记数据的稀缺和类别分布的不平衡阻碍了关键异常状态特征的提取，显著降低了训练性能。此外，由于环境和硬件限制导致的模态缺失进一步加剧了异常状态识别的挑战。更重要的是，监控乘客（特别是老年人）的异常健康状况至关重要，但尚未得到充分探索。IC3M通过基于相机旋转的多模态框架，包含自适应阈值伪标签策略和缺失模态重建两个关键模块，有效应对上述挑战。实验结果表明，IC3M在准确率、精确率和召回率方面优于最先进的基准方法，并在有限的标记数据和严重的模态缺失下表现出卓越的鲁棒性。
🔬 方法详解
问题定义：论文旨在解决车载环境下，驾驶员和乘客异常状态监控中，由于标记数据稀缺、类别分布不平衡以及模态缺失等问题导致的异常状态检测性能下降的问题。现有方法难以有效利用有限的标记数据，并且在模态缺失的情况下鲁棒性较差。
核心思路：论文的核心思路是利用自适应阈值伪标签策略来解决数据稀缺和类别不平衡问题，并利用跨模态关系来重建缺失的模态信息。通过这种方式，模型可以更好地学习异常状态的特征，并在数据受限和模态缺失的情况下保持较高的性能。
技术框架：IC3M框架包含两个主要模块：自适应阈值伪标签策略和缺失模态重建。首先，自适应阈值伪标签策略根据类别分布为不同类别定制伪标签阈值，生成类别平衡的伪标签，以指导模型训练。然后，缺失模态重建模块利用从有限标签中学到的跨模态关系，通过从可用模态进行分布转移，准确地恢复缺失的模态。整个框架基于相机旋转的多模态数据输入，最终输出驾驶员和乘客的异常状态检测结果。
关键创新：IC3M的关键创新在于其自适应阈值伪标签策略和缺失模态重建方法。自适应阈值伪标签策略能够根据类别分布动态调整伪标签的阈值，从而生成更准确和平衡的伪标签。缺失模态重建方法能够利用跨模态关系来恢复缺失的模态信息，从而提高模型在模态缺失情况下的鲁棒性。与现有方法相比，IC3M能够更有效地利用有限的标记数据，并在模态缺失的情况下保持较高的性能。
关键设计：自适应阈值伪标签策略的关键设计在于如何根据类别分布动态调整阈值。具体而言，可以根据每个类别的样本数量或置信度分布来设置不同的阈值。缺失模态重建的关键设计在于如何学习跨模态关系并进行分布转移。可以使用生成对抗网络（GAN）或变分自编码器（VAE）等技术来学习跨模态关系，并使用域适应技术来进行分布转移。具体的损失函数和网络结构等技术细节在论文中未明确给出，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，IC3M在准确率、精确率和召回率方面均优于现有方法，并在有限的标记数据和严重的模态缺失下表现出卓越的鲁棒性。具体的性能提升数据在摘要中未明确给出，属于未知信息。但强调了其在各种指标上超越了state-of-the-art的基线方法。
🎯 应用场景
IC3M技术可应用于智能汽车、自动驾驶、老年人监护等领域。通过实时监控驾驶员和乘客的异常状态，可以及时发出警报，预防交通事故和突发健康问题。该技术在提升驾驶安全性和乘客健康保障方面具有重要价值，并有望推动相关产业的发展。
📄 摘要（原文）
Recently, in-car monitoring has emerged as a promising technology for detecting early-stage abnormal status of the driver and providing timely alerts to prevent traffic accidents. Although training models with multimodal data enhances the reliability of abnormal status detection, the scarcity of labeled data and the imbalance of class distribution impede the extraction of critical abnormal state features, significantly deteriorating training performance. Furthermore, missing modalities due to environment and hardware limitations further exacerbate the challenge of abnormal status identification. More importantly, monitoring abnormal health conditions of passengers, particularly in elderly care, is of paramount importance but remains underexplored. To address these challenges, we introduce our IC3M, an efficient camera-rotation-based multimodal framework for monitoring both driver and passengers in a car. Our IC3M comprises two key modules: an adaptive threshold pseudo-labeling strategy and a missing modality reconstruction. The former customizes pseudo-labeling thresholds for different classes based on the class distribution, generating class-balanced pseudo labels to guide model training effectively, while the latter leverages crossmodality relationships learned from limited labels to accurately recover missing modalities by distribution transferring from available modalities. Extensive experimental results demonstrate that IC3M outperforms state-of-the-art benchmarks in accuracy, precision, and recall while exhibiting superior robustness under limited labeled data and severe missing modality.