MuPACE: Learning to Pace Muon for LoRA Fine-Tuning

📄 arXiv: 2610.28072v1 📥 PDF

作者: Jan Kobiolka, Christian Frey, Josif Grabocka

分类: cs.LG

发布日期: 2026-10-20

备注: Under Review

💡 一句话要点

提出MuPACE以优化LoRA微调中的学习率选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 学习率调度 低秩适配器 元学习 深度学习 自然语言处理

📋 核心要点

  1. 现有的学习率调度方法在微调大型语言模型时无法适应不同任务和配置的动态变化，导致性能不佳。
  2. MuPACE通过元学习学习率选择，保持基础优化器不变，利用小型递归策略根据训练轨迹进行动态调整。
  3. 在64个微调任务中，MuPACE在64-78%的问题上超越了标准固定调度，且在未见任务上表现出色。

📝 摘要（中文）

学习率调度通常在训练开始前固定，但在使用低秩适配器（LoRA）微调大型语言模型时，适当的学习率因模型、任务和适配器配置而异。实践者需要为每个新问题重新调优学习率调度，而即使调优后的调度也无法适应训练动态。本文提出的MuPACE方法通过在LoRA微调问题中对学习率选择进行摊销，利用小型递归策略进行元学习，基于观察到的训练轨迹发出有界调整，从而实现更灵活的学习率调度。在64个微调问题上，MuPACE在64-78%的问题中超越了标准固定调度，并且在与每个任务调优的调度峰值相当的情况下，能够在未见任务上进行一次性迁移。

🔬 方法详解

问题定义：本文解决的是在使用低秩适配器（LoRA）微调大型语言模型时，固定学习率调度无法适应不同任务和模型配置的问题。现有方法需要为每个新问题重新调优学习率调度，且无法实时响应训练动态。

核心思路：MuPACE的核心思路是通过元学习来选择学习率，保持基础优化器Muon不变，从而固定更新方向，仅对全局步长进行调整。这种设计使得学习率选择能够在不同的微调任务中进行有效的迁移。

技术框架：MuPACE采用小型递归策略，经过元训练后能够根据观察到的训练轨迹发出有界的学习率调整。整体流程包括数据收集、元训练和实时调整三个主要模块。

关键创新：MuPACE的主要创新在于其能够在未见任务上进行一次性迁移，且在64层深的模型上依然保持竞争力，这与现有方法的固定调度策略形成鲜明对比。

关键设计：MuPACE的设计包括对学习率的有界调整机制，损失函数的选择，以及在元训练阶段使用的多样化微调任务分布。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在64个微调任务中，MuPACE在64-78%的问题上超越了标准固定学习率调度，并且在与每个任务调优的调度峰值相当的情况下，表现出色，显示出其在未见任务上的强大迁移能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够显著提升大型语言模型在不同任务上的微调效率和效果。未来，MuPACE可能推动自适应学习率调度的广泛应用，减少人工调优的需求。

📄 摘要（原文）

Learning rate schedules are typically fixed before training begins, yet when fine-tuning large language models with low-rank adapters (LoRA), the appropriate scale varies substantially with the model, task, and adapter configuration. Practitioners re-tune a schedule for every new problem, yet a tuned schedule still cannot react to the training dynamics it encounters. We instead amortize learning rate selection across LoRA fine-tuning problems. We leave the base optimizer, Muon, untouched, so that its normalized update fixes the direction, and meta-learn only the global step size. Our method MuPACE is a small recurrent policy, meta-trained across a distribution of fine-tuning runs, that conditions on the observed trajectory and emits bounded adjustments to an interpretable analytic schedule. On 64 fine-tuning problems, MuPACE outperforms standard fixed schedules at a strong shared default on 64-78% of problems and is on par with the same schedules with per-task tuned peaks. Meta-trained only on models with up to 16 layers, MuPACE transfers one-shot to unseen tasks on models as deep as 64 layers, such as Qwen3-32B and Qwen3.8-27B, where a single run remains competitive with swept schedules.