ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads

📄 arXiv: 2604.05426v1 📥 PDF

作者: Jingwei Zuo, Xinze Feng, Zien Liu, Kaijian Wang, Fanjiang Ye, Ye Cao, Zhuang Wang, Yuke Wang

分类: cs.LG, cs.AI, cs.DC

发布日期: 2026-04-07

💡 一句话要点

ALTO：面向异构LoRA训练工作负载的自适应调优与编排系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LoRA调优 参数高效微调 异构任务 资源调度 早期终止

📋 核心要点

  1. 现有LoRA调优系统独立处理任务，导致计算资源浪费和GPU利用率不足。
  2. ALTO通过监控损失轨迹提前终止不佳配置，并采用融合GEMM和秩局部并行优化资源利用。
  3. 实验表明，ALTO在不损失适配器质量的前提下，实现了高达13.8倍的加速效果。

📝 摘要（中文）

低秩适应(LoRA)已成为大型语言模型参数高效微调的主流方法，但获得高质量的适配器通常需要系统的超参数调优，因为LoRA的性能对配置选择非常敏感。 实践中，这导致许多并发的LoRA任务，通常跨越多租户环境中的异构任务。 现有系统在很大程度上独立处理这些任务，这既浪费了弱候选者的计算资源，又导致GPU利用率不足。 我们提出了ALTO（自适应LoRA调优和编排），这是一个协同设计的训练系统，可加速LoRA超参数调优，同时实现跨异构任务的高效集群共享。 ALTO背后的核心思想是，当多个调优任务在共享的冻结骨干网络上并发运行时，它们会暴露单任务设计无法利用的优化机会。 基于此，ALTO监控损失轨迹以尽早终止没有希望的配置，使用融合分组GEMM以及新的秩局部适配器并行来共同定位幸存的适配器并回收释放的GPU容量，并结合任务内和任务间调度，通过利用LoRA任务的可预测持续时间来改善多任务放置。 大量评估表明，ALTO在不牺牲适配器质量的前提下，实现了高达13.8倍于现有技术的加速。

🔬 方法详解

问题定义：现有LoRA调优方法在多租户、异构任务环境下，独立运行各个调优任务，导致计算资源浪费在表现不佳的配置上，并且无法充分利用GPU资源。超参数调优对LoRA性能至关重要，但缺乏高效的资源管理和调度策略。

核心思路：ALTO的核心在于协同优化多个LoRA调优任务。通过共享冻结的骨干网络，ALTO能够监控不同配置的训练过程，尽早终止表现不佳的任务，并将剩余资源分配给更有希望的任务。此外，ALTO还利用LoRA任务的可预测性进行智能调度，提高GPU利用率。

技术框架：ALTO包含三个主要模块：1) 早期终止模块：监控损失轨迹，提前终止表现不佳的LoRA配置。2) 资源重分配模块：使用融合分组GEMM和秩局部适配器并行，将幸存的适配器共同定位，并回收释放的GPU容量。3) 调度模块：结合任务内和任务间调度，利用LoRA任务的可预测持续时间来改善多任务放置。

关键创新：ALTO的关键创新在于其协同优化多个LoRA调优任务的能力。与现有独立调优方法不同，ALTO能够动态调整资源分配，从而更有效地利用计算资源。秩局部适配器并行也是一个创新点，它允许在GPU上高效地共同定位多个适配器。

关键设计：ALTO的早期终止模块使用基于损失轨迹的预测模型来判断LoRA配置的潜力。资源重分配模块中的融合分组GEMM优化了矩阵乘法运算，提高了计算效率。调度模块则利用历史数据预测LoRA任务的完成时间，并据此进行任务调度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ALTO在不牺牲适配器质量的前提下，实现了高达13.8倍于现有技术的加速效果。这主要归功于其早期终止、资源重分配和智能调度策略。ALTO在多个数据集和模型上都表现出了优异的性能，证明了其通用性和有效性。

🎯 应用场景

ALTO可应用于各种需要对大型语言模型进行参数高效微调的场景，例如自然语言处理、计算机视觉等。它能够显著加速LoRA超参数调优过程，提高GPU利用率，降低训练成本。该系统尤其适用于多租户环境，允许多个用户共享计算资源，并高效地完成各自的LoRA调优任务。

📄 摘要（原文）

Low-Rank Adaptation (LoRA) is now the dominant method for parameter-efficient fine-tuning of large language models, but achieving a high-quality adapter often requires systematic hyperparameter tuning because LoRA performance is highly sensitive to configuration choices. In practice, this leads to many concurrent LoRA jobs, often spanning heterogeneous tasks in multi-tenant environments. Existing systems largely handle these jobs independently, which both wastes computation on weak candidates and leaves GPUs underutilized. We present ALTO (Adaptive LoRA Tuning and Orchestration), a co-designed training system that accelerates LoRA hyperparameter tuning while enabling efficient cluster sharing across heterogeneous tasks. The central insight behind ALTO is that when multiple tuning jobs run concurrently over a shared frozen backbone, they expose optimization opportunities that single-job designs cannot exploit. Building on this, ALTO monitors loss trajectories to terminate unpromising configurations early, uses fused grouped GEMM together with a new rank-local adapter parallelism to co-locate surviving adapters and reclaim freed GPU capacity, and combines intra-task and inter-task scheduling to improve multi-task placement by leveraging the predictable duration of LoRA jobs. Extensive evaluation shows that ALTO achieves up to $13.8\times$ speedup over state-of-the-art without sacrificing adapter quality.