Quantifying Task Priority for Multi-Task Optimization
作者: Wooseong Jeong, Kuk-Jin Yoon
分类: cs.LG, cs.CV
发布日期: 2024-06-05
期刊: CVPR 2024
💡 一句话要点
提出基于连接强度的多任务学习优化方法，解决任务间负迁移问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 多任务学习 任务优先级 梯度操作 负迁移 连接强度
📋 核心要点
- 多任务学习中，任务间梯度冲突导致负迁移，现有梯度对齐方法无法准确评估参数贡献。
- 提出基于连接强度的任务优先级概念，通过参数大小衡量连接强度，学习任务优先级。
- 提出两阶段优化方法，先学习任务优先级，再根据优先级调整梯度，实现更好的帕累托最优解。
📝 摘要（中文）
多任务学习旨在单一统一网络中学习多个不同任务。由于每个任务都有其独特的目标函数，训练过程中会产生冲突，导致任务间的负迁移。现有研究识别出任务间共享参数中的冲突梯度，并试图将其对齐到相同方向。然而，本文证明这种优化策略会导致次优的帕累托解，因为它无法准确确定每个参数在不同任务中的贡献。本文提出了任务优先级的概念来评估不同任务中参数的贡献。为了学习任务优先级，我们识别与反向传播期间受任务特定损失影响的参数之间的连接相关的连接类型。连接的强度通过参数的大小来衡量，以确定任务优先级。基于此，我们提出了一种名为基于连接强度的多任务学习优化方法，该方法包含两个阶段。第一阶段学习网络中的任务优先级，第二阶段在保持此优先级的同时修改梯度。这最终导致找到多个任务的新的帕累托最优解。通过大量实验，我们表明与早期的梯度操作方法相比，我们的方法极大地提高了多任务性能。
🔬 方法详解
问题定义：多任务学习旨在利用单个神经网络同时学习多个任务，然而，不同任务的目标函数之间存在冲突，导致某些任务的性能下降，即负迁移现象。现有方法主要集中在对齐任务间的梯度，但忽略了不同参数对不同任务的贡献程度不同，简单地对齐梯度可能导致次优解。
核心思路：本文的核心思路是引入“任务优先级”的概念，即评估网络中每个参数对不同任务的重要性。通过学习这种任务优先级，可以更精细地调整梯度，避免简单粗暴的梯度对齐导致的负迁移。关键在于如何准确地衡量参数对不同任务的贡献。
技术框架：本文提出的方法包含两个主要阶段：1) 任务优先级学习阶段：分析网络中参数连接的类型和强度，确定每个参数对不同任务的优先级。2) 梯度调整阶段：根据学习到的任务优先级，调整反向传播过程中的梯度，使得梯度更新更加符合各个任务的需求，从而优化多任务学习的性能。
关键创新：本文的关键创新在于提出了基于连接强度的任务优先级评估方法。与以往的梯度对齐方法不同，本文不再简单地对齐梯度，而是通过分析网络连接的结构和参数大小，更准确地评估每个参数对不同任务的贡献，从而实现更有效的梯度调整。
关键设计：在任务优先级学习阶段，论文通过分析反向传播过程中任务特定损失对参数的影响，识别与任务相关的连接类型。连接强度通过参数的幅度来衡量，幅度越大，表示该参数对相应任务的优先级越高。在梯度调整阶段，根据学习到的任务优先级，对梯度进行加权或修正，以保证高优先级的任务能够获得更大的梯度更新，从而避免负迁移。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文提出的基于连接强度的多任务学习优化方法在多个数据集上显著优于现有的梯度操作方法。例如，在Cityscapes数据集上，该方法在多个任务上取得了平均超过2%的性能提升，证明了其有效性。
🎯 应用场景
该研究成果可广泛应用于需要多任务学习的场景，例如自动驾驶（同时进行目标检测、语义分割等任务）、机器人控制（同时进行导航、抓取等任务）、以及医疗图像分析（同时进行病灶检测、器官分割等任务）。通过提升多任务学习的性能，可以降低模型部署的成本，提高系统的效率和可靠性。
📄 摘要（原文）
The goal of multi-task learning is to learn diverse tasks within a single unified network. As each task has its own unique objective function, conflicts emerge during training, resulting in negative transfer among them. Earlier research identified these conflicting gradients in shared parameters between tasks and attempted to realign them in the same direction. However, we prove that such optimization strategies lead to sub-optimal Pareto solutions due to their inability to accurately determine the individual contributions of each parameter across various tasks. In this paper, we propose the concept of task priority to evaluate parameter contributions across different tasks. To learn task priority, we identify the type of connections related to links between parameters influenced by task-specific losses during backpropagation. The strength of connections is gauged by the magnitude of parameters to determine task priority. Based on these, we present a new method named connection strength-based optimization for multi-task learning which consists of two phases. The first phase learns the task priority within the network, while the second phase modifies the gradients while upholding this priority. This ultimately leads to finding new Pareto optimal solutions for multiple tasks. Through extensive experiments, we show that our approach greatly enhances multi-task performance in comparison to earlier gradient manipulation methods.