Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

📄 arXiv: 2507.21049v1 📥 PDF

作者: Zedong Wang, Siyuan Li, Dan Xu

分类: cs.LG, cs.CV

发布日期: 2025-07-28

备注: ICCV 2025 (Highlight). Project page: https://jacky1128.github.io/RepMTL/

💡 一句话要点

提出Rep-MTL以解决多任务学习中的任务互补性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 任务显著性 互补信息 优化器 跨任务对齐 熵惩罚 表示学习

📋 核心要点

  1. 现有多任务优化方法主要依赖于损失缩放和梯度操作，难以有效解决任务间的互补性问题。
  2. Rep-MTL通过引入表示层级的任务显著性，量化任务间的交互，促进互补信息的共享。
  3. 在四个多任务学习基准上，Rep-MTL即使与基本的均等加权策略结合，也能实现显著的性能提升。

📝 摘要（中文）

尽管多任务学习在利用任务间互补知识方面具有潜力，但现有的多任务优化技术仍然主要集中于通过优化器中心的损失缩放和梯度操作来解决冲突，未能实现一致的性能提升。本文提出Rep-MTL，利用表示层级的任务显著性来量化任务特定优化与共享表示学习之间的交互。通过基于熵的惩罚和样本级的跨任务对齐，Rep-MTL旨在通过维持各个任务的有效训练来减轻负迁移，同时明确促进互补信息的共享。实验结果表明，Rep-MTL在多个具有挑战性的基准上表现出竞争力的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有多任务学习方法在任务间互补性利用不足的问题，现有方法往往侧重于冲突解决，未能有效促进任务间的协同学习。

核心思路：Rep-MTL的核心思路是利用表示层级的任务显著性来量化任务间的交互，通过引导这些显著性来促进互补信息的共享，而不仅仅是解决冲突。

技术框架：Rep-MTL的整体架构包括两个主要模块：任务显著性量化模块和跨任务对齐模块。前者通过熵惩罚来引导任务显著性，后者则通过样本级对齐来增强任务间的信息共享。

关键创新：Rep-MTL的创新在于引入了表示层级的任务显著性概念，强调任务间的互补性，而不是单纯的冲突解决，这一设计在多任务学习中尚属首次。

关键设计：在损失函数设计上，Rep-MTL采用了基于熵的惩罚机制，以引导任务显著性，同时在网络结构上，结合了共享表示学习与任务特定优化的策略。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Rep-MTL在四个多任务学习基准上表现出色，即使与基本的均等加权策略结合，仍实现了显著的性能提升。具体而言，Rep-MTL在任务特定学习与跨任务共享之间取得了良好的平衡，展现出较强的效率和效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和机器人等多任务学习场景。通过有效利用任务间的互补性，Rep-MTL能够提升模型的整体性能，具有广泛的实际价值和未来影响力，尤其是在需要同时处理多个相关任务的应用中。

📄 摘要（原文）

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.