Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences

📄 arXiv: 2407.08056v2 📥 PDF

作者: Nikolaos Dimitriadis, Pascal Frossard, Francois Fleuret

分类: cs.LG

发布日期: 2024-07-10 (更新: 2025-02-26)

备注: Accepted at ICLR 2025

💡 一句话要点

提出PaLoRA：一种参数高效的Pareto前沿学习方法，用于解决多任务学习中的权衡问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 Pareto前沿学习 低秩适配器 参数高效 确定性采样 场景理解 神经网络

📋 核心要点

  1. 现有Pareto前沿学习(PFL)方法存在可扩展性差、收敛慢、内存需求高等问题，且偏好到目标空间的映射不稳定。
  2. PaLoRA通过引入低秩适配器和确定性采样策略，使模型学习通用特征，适配器学习特定任务特征，从而高效参数化Pareto前沿。
  3. 实验表明，PaLoRA在多个数据集上超越了现有MTL和PFL方法，并显著降低了内存开销，提升了可扩展性。

📝 摘要（中文）

本文提出了一种名为PaLoRA的参数高效方法，用于解决机器学习中的多任务权衡问题。PaLoRA通过参数化Pareto前沿（PF），利用单个模型实现多任务学习（MTL）。与传统MTL在训练前确定单一权衡不同，PFL允许在推理时选择期望的操作点。然而，现有的PFL方法存在可扩展性有限、收敛速度慢、内存需求过高等问题，并且从偏好到目标空间的映射不一致。PaLoRA通过两种方式解决这些限制：首先，使用任务特定的低秩适配器增强神经网络架构，并在其凸包中连续参数化PF；其次，提出一种确定性的偏好向量采样策略，以加强模型和适配器分别学习通用和特定任务特征的分工，从而加速收敛并增强偏好到目标空间映射的有效性。实验表明，PaLoRA在各种数据集上优于最先进的MTL和PFL基线，并可扩展到大型网络，在场景理解基准测试中，与竞争的PFL基线相比，内存开销减少了23.8-31.7倍。

🔬 方法详解

问题定义：论文旨在解决多任务学习中Pareto前沿学习（PFL）方法的可扩展性、收敛速度和内存效率问题。现有的PFL方法难以扩展到大型网络，收敛速度慢，需要大量的内存，并且在偏好向量到目标空间的映射上存在不一致性，导致难以根据用户偏好选择合适的模型。

核心思路：PaLoRA的核心思路是利用低秩适配器（Low-Rank Adapters）来参数化Pareto前沿，并设计一种确定性的采样策略来引导模型学习。通过将模型和适配器分别引导到学习通用和特定任务的特征，从而提高学习效率和映射的准确性。低秩适配器参数量小，易于训练，确定性采样策略能够加速收敛并稳定偏好到目标空间的映射。

技术框架：PaLoRA的技术框架主要包括以下几个部分： 1. 基础模型：使用预训练的神经网络作为基础模型。 2. 低秩适配器：为每个任务添加低秩适配器，这些适配器与基础模型并行工作。 3. Pareto前沿参数化：通过适配器的凸组合来参数化Pareto前沿。 4. 确定性采样策略：使用确定性的偏好向量采样策略来训练模型和适配器。 5. 损失函数：使用多任务损失函数，根据偏好向量对不同任务的损失进行加权。

关键创新：PaLoRA的关键创新在于： 1. 参数高效的Pareto前沿学习：通过低秩适配器，显著减少了参数量，提高了内存效率。 2. 确定性采样策略：通过确定性的采样策略，加速了收敛，并提高了偏好到目标空间映射的准确性。 3. 任务分解：通过引导模型和适配器分别学习通用和特定任务的特征，提高了学习效率。

关键设计：PaLoRA的关键设计包括： 1. 低秩适配器的秩的选择：秩的大小决定了适配器的参数量和学习能力，需要根据具体任务进行调整。 2. 确定性采样策略的设计：采样策略需要保证偏好向量的覆盖范围和均匀性，以确保Pareto前沿的完整性。 3. 损失函数的权重设计：损失函数的权重需要根据偏好向量进行调整，以反映不同任务的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PaLoRA在多个数据集上取得了显著的性能提升。在场景理解基准测试中，与现有的PFL方法相比，PaLoRA将内存开销降低了23.8-31.7倍，同时在性能上优于或与最先进的MTL和PFL基线相当。实验结果表明，PaLoRA能够有效地参数化Pareto前沿，并根据用户的偏好选择合适的模型配置。

🎯 应用场景

PaLoRA适用于各种需要多任务权衡的机器学习应用，例如自动驾驶中的场景理解、医疗图像分析、自然语言处理等。它可以帮助用户在推理时根据不同的偏好选择最佳的模型配置，从而提高系统的灵活性和适应性。该研究的成果有助于推动多任务学习在实际应用中的普及，并为未来的研究提供新的思路。

📄 摘要（原文）

Multi-task trade-offs in machine learning can be addressed via Pareto Front Learning (PFL) methods that parameterize the Pareto Front (PF) with a single model. PFL permits to select the desired operational point during inference, contrary to traditional Multi-Task Learning (MTL) that optimizes for a single trade-off decided prior to training. However, recent PFL methodologies suffer from limited scalability, slow convergence, and excessive memory requirements, while exhibiting inconsistent mappings from preference to objective space. We introduce PaLoRA, a novel parameter-efficient method that addresses these limitations in two ways. First, we augment any neural network architecture with task-specific low-rank adapters and continuously parameterize the PF in their convex hull. Our approach steers the original model and the adapters towards learning general and task-specific features, respectively. Second, we propose a deterministic sampling schedule of preference vectors that reinforces this division of labor, enabling faster convergence and strengthening the validity of the mapping from preference to objective space throughout training. Our experiments show that PaLoRA outperforms state-of-the-art MTL and PFL baselines across various datasets, scales to large networks, reducing the memory overhead $23.8-31.7$ times compared with competing PFL baselines in scene understanding benchmarks.