t-READi: Transformer-Powered Robust and Efficient Multimodal Inference for Autonomous Driving
作者: Pengfei Hu, Yuhang Qian, Tianyue Zheng, Ang Li, Zhe Chen, Yue Gao, Xiuzhen Cheng, Jun Luo
分类: cs.CV, cs.AI, cs.DC, cs.LG, cs.RO
发布日期: 2024-10-13 (更新: 2024-11-21)
备注: 14 pages, 16 figures
💡 一句话要点
t-READi：用于自动驾驶的Transformer驱动的鲁棒高效多模态推理
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 多模态融合 Transformer 鲁棒性 对比学习 自适应推理 传感器融合
📋 核心要点
- 现有自动驾驶多模态融合方法假设数据同分布和传感器可用，但实际中传感器数据质量和可用性存在差异。
- t-READi通过识别并自适应调整对变异敏感的模型参数，并利用跨模态对比学习补偿模态缺失，实现鲁棒感知。
- 实验表明，t-READi在实际数据和模态变异下，精度提升超过6%，推理延迟降低近15倍，内存开销仅增加5%。
📝 摘要（中文）
本文提出t-READi，一个自适应推理系统，旨在解决自动驾驶中多模态传感器数据（如相机、激光雷达、雷达）的变异性问题，从而实现鲁棒且高效的感知。现有融合方法通常假设所有输入具有相似的数据分布以及所有传感器始终可用，但这些假设在实践中很少成立。t-READi识别对变异敏感但又具有结构特性的模型参数，并仅调整这些参数，同时保持其余参数不变。此外，t-READi还利用跨模态对比学习方法来补偿因模态缺失而造成的损失。这两项功能的设计都保持了与现有多模态深度融合方法的兼容性。大量实验表明，与现有方法相比，在实际数据和模态变异情况下，t-READi不仅将平均推理精度提高了6%以上，而且将推理延迟降低了近15倍，而代价是在最坏情况下仅增加5%的内存开销。
🔬 方法详解
问题定义：自动驾驶系统依赖多模态传感器数据融合，但现有方法对传感器数据质量和可用性要求高，难以应对实际场景中数据分布差异和传感器失效等问题，导致性能下降。现有方法未能充分考虑不同模态数据的特性和相互关系，以及在数据变异情况下的模型适应性问题。
核心思路：t-READi的核心思路是自适应地调整模型参数，使其能够更好地适应不同模态数据的变异性。通过识别对变异敏感的关键参数，并利用跨模态对比学习来弥补模态缺失带来的信息损失，从而提高系统的鲁棒性和效率。这种方法旨在保持与现有融合方法的兼容性，同时提升性能。
技术框架：t-READi包含两个主要模块：自适应参数调整模块和跨模态对比学习模块。自适应参数调整模块首先识别对数据变异敏感的模型参数，然后根据输入数据的特性动态调整这些参数。跨模态对比学习模块则通过学习不同模态之间的关联性，即使在某些模态缺失的情况下，也能利用其他模态的信息进行补偿。整体流程是在现有融合模型的基础上，加入这两个模块，实现自适应和鲁棒的推理。
关键创新：t-READi的关键创新在于其自适应参数调整机制和跨模态对比学习方法。自适应参数调整能够根据输入数据的特性动态调整模型参数，从而提高模型对数据变异的适应性。跨模态对比学习则能够在模态缺失的情况下，利用其他模态的信息进行补偿，从而提高系统的鲁棒性。与现有方法相比，t-READi能够更好地应对实际场景中数据分布差异和传感器失效等问题。
关键设计：自适应参数调整模块使用注意力机制来识别对变异敏感的参数。跨模态对比学习模块使用InfoNCE损失函数来学习不同模态之间的关联性。具体而言，对于每个模态，模型学习一个嵌入向量，然后通过对比学习的方式，使得相似模态的嵌入向量更接近，不相似模态的嵌入向量更远离。损失函数的设计旨在最大化正样本对（来自同一场景的不同模态数据）的互信息，同时最小化负样本对（来自不同场景的不同模态数据）的互信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，t-READi在实际数据和模态变异情况下，相比现有方法，平均推理精度提高了6%以上，推理延迟降低了近15倍，而代价是在最坏情况下仅增加5%的内存开销。这些结果表明t-READi在提高自动驾驶系统鲁棒性和效率方面具有显著优势。
🎯 应用场景
t-READi适用于自动驾驶、机器人等需要多模态传感器数据融合的领域。该研究成果可以提高自动驾驶系统在复杂环境下的感知能力和安全性，降低对传感器硬件的要求，并为未来的多模态融合算法设计提供新的思路。此外，该方法也可以推广到其他多模态数据分析任务中，例如医学图像分析、视频监控等。
📄 摘要（原文）
Given the wide adoption of multimodal sensors (e.g., camera, lidar, radar) by autonomous vehicles (AVs), deep analytics to fuse their outputs for a robust perception become imperative. However, existing fusion methods often make two assumptions rarely holding in practice: i) similar data distributions for all inputs and ii) constant availability for all sensors. Because, for example, lidars have various resolutions and failures of radars may occur, such variability often results in significant performance degradation in fusion. To this end, we present tREADi, an adaptive inference system that accommodates the variability of multimodal sensory data and thus enables robust and efficient perception. t-READi identifies variation-sensitive yet structure-specific model parameters; it then adapts only these parameters while keeping the rest intact. t-READi also leverages a cross-modality contrastive learning method to compensate for the loss from missing modalities. Both functions are implemented to maintain compatibility with existing multimodal deep fusion methods. The extensive experiments evidently demonstrate that compared with the status quo approaches, t-READi not only improves the average inference accuracy by more than 6% but also reduces the inference latency by almost 15x with the cost of only 5% extra memory overhead in the worst case under realistic data and modal variations.