How Low Can You Go: Fine-Tuning LLMs with Bayesian Optimization (LlMBO)

📄 arXiv: 2610.18504v1 📥 PDF

作者: Aditya Kulkarni, Davide Sartor, Carlos Soto, Nathan Wycoff

分类: stat.ML, cs.LG, stat.ME

发布日期: 2026-10-13

💡 一句话要点

提出LlMBO以优化低参数LLM微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 贝叶斯优化 微调 低参数 计算效率 无梯度优化 资源受限

📋 核心要点

  1. 现有的LLM微调方法通常需要大量参数和计算资源，限制了其在资源受限环境中的应用。
  2. 本文提出了LlMBO，通过贝叶斯优化方法在低维参数空间中进行有效的微调，避免了传统的梯度依赖。
  3. 实验结果表明，LlMBO在多个模型的微调任务中，能够与GRPO相媲美或超越其性能，同时显著降低计算和内存需求。

📝 摘要（中文）

最近，Morris等人提出了TinyLoRA，一种用于LLM微调的策略，使用少于10个参数实现了准确性提升。然而，该研究仍然依赖于基于梯度的局部搜索方法。本文基于观察，在低维设置中，全球优化方法变得可行，从而解锁了大语言模型贝叶斯优化（LlMBO）。LlMBO具有样本效率高、无梯度、内存占用少、可跨设备并行且无需同步的特点，并且能够直接优化贪婪解码的准确性。我们描述了数值实验，将LlMBO与GRPO在数学基准任务上的微调效果进行了比较，结果表明LlMBO在这一领域可以作为合适的替代方案，匹配或超越GRPO的微调效果，同时使用更少的计算和内存。

🔬 方法详解

问题定义：本文旨在解决现有LLM微调方法在参数和计算资源上的高需求问题，尤其是TinyLoRA方法仍依赖于梯度优化的局限性。

核心思路：论文提出的LlMBO利用贝叶斯优化在低维参数空间中进行全局优化，避免了传统方法的梯度依赖，从而实现高效的微调。

技术框架：LlMBO的整体架构包括参数空间的贝叶斯建模、优化过程的样本选择和评估，以及与不同设备的并行计算能力，确保了优化过程的高效性。

关键创新：LlMBO的主要创新在于其样本效率和无梯度特性，使其在低参数设置下能够直接优化模型性能，区别于传统的基于梯度的方法。

关键设计：LlMBO在参数设置上采用了适应性采样策略，损失函数设计上关注贪婪解码准确性，同时在网络结构上保持轻量化，确保在资源受限的环境中也能有效运行。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，LlMBO在多个模型的微调任务中，能够与GRPO的微调效果相匹配或超越，同时计算和内存需求减少了显著的比例，展示了其在低参数微调中的优势。

🎯 应用场景

该研究的潜在应用领域包括资源受限的设备上进行大语言模型的微调，如移动设备和边缘计算环境。LlMBO的高效性使其在实际应用中具有重要价值，能够推动LLM在更多场景下的应用与普及。

📄 摘要（原文）

Recently, Morris et al. introduced TinyLoRA, a strategy for LLM fine-tuning which introduces arbitrarily few parameters, and demonstrated accuracy improvements using less than $10$ parameters rather than the ${\gtrsim 10,000}$ typically demanded by LoRA-based methods. However, that study continued to use gradient-based local search methods of the kind deployed for training multi-billion parameter LLMs in the first place. This article is predicated on the observation that, in the low dimensional setting, global optimization methods become tractable, unlocking Large language Model Bayesian Optimization (LlMBO). LlMBO is sample-efficient, gradient-free, memory-light, parallelizes across devices without synchronization, and, unlike policy-gradient methods, can optimize greedy-decoding accuracy directly. We describe numerical experiments comparing LlMBO against GRPO on fine-tuning tasks for a variety of models on a math benchmark suite which show that LlMBO can be a suitable alternative in this regime, matching or exceeding GRPO's fine tuning gains, while using a fraction of the compute and memory.