AdapMTL: Adaptive Pruning Framework for Multitask Learning Model
作者: Mingcan Xiang, Steven Jiaxun Tang, Qizheng Yang, Hui Guan, Tongping Liu
分类: cs.CV, cs.LG
发布日期: 2024-08-07
备注: 13 pages, 9 figures, Published at ACM Multimedia (ACM MM) 2024
💡 一句话要点
AdapMTL：面向多任务学习模型自适应剪枝框架，提升模型效率与精度。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多任务学习 模型剪枝 自适应学习 模型压缩 多模态数据
📋 核心要点
- 现有MTL模型压缩方法难以平衡各任务间的稀疏性分配与精度，导致压缩效率受限。
- AdapMTL通过可学习的软阈值和自适应加权机制，动态调整各组件的剪枝程度和任务损失权重。
- 实验表明，AdapMTL在多个数据集上优于现有剪枝方法，实现了更高的压缩率和精度。
📝 摘要（中文）
在多媒体和多模态处理领域，高效处理图像、视频和传感器数据等多样化数据流至关重要。模型压缩和多任务学习(MTL)在该领域具有重要意义，它们有潜力解决同时处理和解释多种媒体形式所带来的资源密集型需求。然而，由于需要在多个任务之间平衡稀疏性分配和精度性能，有效压缩多任务模型面临着严峻的挑战。为了应对这些挑战，我们提出了一种用于MTL模型的自适应剪枝框架AdapMTL。AdapMTL利用多个可学习的软阈值，独立地分配给共享骨干网络和特定于任务的头部，以捕捉不同组件对剪枝的敏感性差异。在训练过程中，它共同优化软阈值和MTL模型权重，以自动确定每个组件的合适稀疏度，从而实现高任务精度和高整体稀疏度。此外，它还结合了一种自适应加权机制，该机制根据每个任务对剪枝的鲁棒性动态调整特定于任务的损失的重要性。我们通过在流行的多任务数据集NYU-v2和Tiny-Taskonomy上使用不同的架构进行的全面实验，证明了AdapMTL的有效性，与最先进的剪枝方法相比，AdapMTL表现出卓越的性能。
🔬 方法详解
问题定义：现有的多任务学习模型压缩方法，尤其是在剪枝方面，难以有效地平衡不同任务之间的精度和稀疏性需求。简单地对所有任务或模型组件应用相同的剪枝策略，无法充分利用各个任务对剪枝的鲁棒性差异，导致整体性能下降或压缩效率不高。因此，如何自适应地为不同的任务和模型组件分配不同的剪枝策略，是本文要解决的核心问题。
核心思路：AdapMTL的核心思路是引入可学习的软阈值，并结合自适应加权机制，从而实现对多任务学习模型各组件的精细化剪枝。通过让模型自身学习每个组件的最佳稀疏度，并动态调整任务损失的权重，可以更好地平衡不同任务之间的精度和稀疏性需求，从而在保证模型性能的同时，实现更高的压缩率。
技术框架：AdapMTL框架主要包含以下几个关键模块：1) 可学习软阈值模块：为共享骨干网络和每个任务特定的头部都分配独立的可学习软阈值。这些阈值决定了对应组件的剪枝程度。2) 剪枝模块：根据可学习的软阈值，对模型权重进行剪枝。3) 自适应加权模块：根据每个任务对剪枝的鲁棒性，动态调整任务损失的权重。4) 联合优化模块：同时优化模型权重、软阈值和任务损失权重，从而实现自适应的剪枝。
关键创新：AdapMTL的关键创新在于：1) 提出了可学习的软阈值，能够自适应地确定每个组件的剪枝程度，避免了手动调整的繁琐。2) 引入了自适应加权机制，能够根据每个任务对剪枝的鲁棒性，动态调整任务损失的权重，从而更好地平衡不同任务之间的精度和稀疏性需求。3) 将软阈值学习和模型权重学习进行联合优化，使得剪枝过程更加高效和稳定。
关键设计：1) 软阈值初始化：软阈值被初始化为一个较小的值，以便在训练初期保留尽可能多的权重。2) 损失函数：总损失函数由任务损失和稀疏性正则化项组成。稀疏性正则化项鼓励软阈值趋向于零，从而实现剪枝。3) 自适应权重更新：任务损失的权重根据任务在剪枝后的性能变化进行调整。如果一个任务对剪枝更鲁棒，其权重会相应增加。
🖼️ 关键图片
📊 实验亮点
在NYU-v2和Tiny-Taskonomy数据集上的实验结果表明，AdapMTL在保持甚至提高模型精度的前提下，显著提升了模型的稀疏性。与现有的剪枝方法相比，AdapMTL在相同的稀疏度下，精度更高；在相同的精度下，稀疏度更高。具体性能数据在论文中有详细展示。
🎯 应用场景
AdapMTL适用于各种需要高效处理多模态数据的场景，例如自动驾驶、机器人导航、智能监控等。通过压缩多任务模型，可以降低计算资源需求，提高部署效率，并为边缘计算设备提供更强大的多模态感知能力。该研究成果有助于推动多模态人工智能技术在资源受限环境下的应用。
📄 摘要（原文）
In the domain of multimedia and multimodal processing, the efficient handling of diverse data streams such as images, video, and sensor data is paramount. Model compression and multitask learning (MTL) are crucial in this field, offering the potential to address the resource-intensive demands of processing and interpreting multiple forms of media simultaneously. However, effectively compressing a multitask model presents significant challenges due to the complexities of balancing sparsity allocation and accuracy performance across multiple tasks. To tackle these challenges, we propose AdapMTL, an adaptive pruning framework for MTL models. AdapMTL leverages multiple learnable soft thresholds independently assigned to the shared backbone and the task-specific heads to capture the nuances in different components' sensitivity to pruning. During training, it co-optimizes the soft thresholds and MTL model weights to automatically determine the suitable sparsity level at each component to achieve both high task accuracy and high overall sparsity. It further incorporates an adaptive weighting mechanism that dynamically adjusts the importance of task-specific losses based on each task's robustness to pruning. We demonstrate the effectiveness of AdapMTL through comprehensive experiments on popular multitask datasets, namely NYU-v2 and Tiny-Taskonomy, with different architectures, showcasing superior performance compared to state-of-the-art pruning methods.