Swiss Army Knife: Synergizing Biases in Knowledge from Vision Foundation Models for Multi-Task Learning

📄 arXiv: 2410.14633v2 📥 PDF

作者: Yuxiang Lu, Shengcao Cao, Yu-Xiong Wang

分类: cs.CV

发布日期: 2024-10-18 (更新: 2025-03-17)

备注: Accepted by ICLR2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Swiss Army Knife，融合视觉基础模型知识偏见，提升多任务学习性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 视觉基础模型 知识蒸馏 模型融合 表示学习

📋 核心要点

  1. 现有方法难以有效利用不同视觉基础模型(VFMs)的表示偏见，限制了多任务学习的性能。
  2. 提出“瑞士军刀”(SAK)框架，通过动态组合多个VFMs的知识，自适应地利用其互补优势。
  3. 实验表明，SAK在NYUD-v2多任务学习基准上超越现有技术10%，展示了其优越性和灵活性。

📝 摘要（中文）

视觉基础模型(VFMs)在众多下游任务中表现出色。然而，由于不同训练范式带来的固有表示偏见，VFMs在不同视觉任务中表现出各自的优缺点。将多个VFMs的优势结合起来用于下游任务是一个直观的策略，但如何有效地利用这些偏见仍然是一个重大挑战。本文提出了一种新颖且通用的“瑞士军刀”(SAK)解决方案，自适应地从VFMs委员会中提取知识，以增强多任务学习。与使用单一骨干网络进行知识迁移的现有方法不同，我们的方法通过将轻量级的教师特定适配器路径模块与教师无关的Stem相结合，保留了每个教师的独特表示偏见。通过使用混合表示路由器的动态选择和组合表示，我们的SAK能够协同多个VFMs的互补优势。大量实验表明，我们的SAK在多任务学习方面显著优于先前的最先进技术，在NYUD-v2基准测试中提高了10%，同时还提供了一个灵活而强大的框架，可以轻松适应更先进的模型设计。

🔬 方法详解

问题定义：现有的多任务学习方法通常使用单一骨干网络进行知识迁移，无法充分利用不同视觉基础模型（VFMs）在不同任务上的优势。每个VFM都具有其独特的表示偏见，源于不同的训练数据和范式，简单地融合这些模型可能会导致性能下降。因此，如何有效地利用这些VFMs的互补优势，成为了一个关键问题。

核心思路：论文的核心思路是设计一个能够自适应地从多个VFMs中提取知识并进行融合的框架。该框架需要能够保留每个VFM的独特表示偏见，并根据不同的任务动态地选择和组合这些表示。通过这种方式，可以充分利用每个VFM的优势，从而提高多任务学习的性能。

技术框架：SAK框架包含三个主要组成部分：教师无关的Stem、教师特定适配器路径模块和混合表示路由器。Stem模块负责处理输入图像并提取初步的特征表示。教师特定适配器路径模块与每个VFM相连，用于提取特定于该VFM的知识表示。混合表示路由器则根据输入图像和任务，动态地选择和组合来自不同适配器路径的表示。

关键创新：SAK的关键创新在于其能够保留并协同多个VFMs的独特表示偏见。通过教师特定适配器路径模块，SAK能够提取每个VFM的特定知识，避免了简单融合导致的知识冲突。混合表示路由器则实现了动态的知识选择和组合，使得SAK能够根据不同的任务自适应地利用VFMs的优势。

关键设计：教师特定适配器路径模块采用轻量级设计，以减少计算开销。混合表示路由器使用注意力机制来学习不同适配器路径的权重，从而实现动态的知识选择。损失函数包括任务相关的损失和知识蒸馏损失，以确保SAK能够有效地学习VFMs的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAK在NYUD-v2多任务学习基准上取得了显著的性能提升，超越了先前的最先进技术10%。实验结果表明，SAK能够有效地融合不同VFMs的知识，并自适应地利用其互补优势。此外，SAK框架具有良好的灵活性和可扩展性，可以轻松地集成更多的VFMs和任务。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、医学图像分析等领域。在这些领域中，通常需要同时处理多个视觉任务，例如目标检测、语义分割和深度估计。SAK框架能够有效地融合不同VFMs的知识，提高多任务学习的性能，从而提升系统的整体性能和鲁棒性。未来，该框架还可以扩展到其他模态的数据，例如文本和语音，以实现更全面的多模态理解。

📄 摘要（原文）

Vision Foundation Models (VFMs) have demonstrated outstanding performance on numerous downstream tasks. However, due to their inherent representation biases originating from different training paradigms, VFMs exhibit advantages and disadvantages across distinct vision tasks. Although amalgamating the strengths of multiple VFMs for downstream tasks is an intuitive strategy, effectively exploiting these biases remains a significant challenge. In this paper, we propose a novel and versatile "Swiss Army Knife" (SAK) solution, which adaptively distills knowledge from a committee of VFMs to enhance multi-task learning. Unlike existing methods that use a single backbone for knowledge transfer, our approach preserves the unique representation bias of each teacher by collaborating the lightweight Teacher-Specific Adapter Path modules with the Teacher-Agnostic Stem. Through dynamic selection and combination of representations with Mixture-of-Representations Routers, our SAK is capable of synergizing the complementary strengths of multiple VFMs. Extensive experiments show that our SAK remarkably outperforms prior state of the arts in multi-task learning by 10% on the NYUD-v2 benchmark, while also providing a flexible and robust framework that can readily accommodate more advanced model designs. Project page: https://innovator-zero.github.io/SAK/ .