Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection

📄 arXiv: 2601.05501v1 📥 PDF

作者: Feihu Jin, Ying Tan

分类: cs.LG, cs.CL

发布日期: 2026-01-09

备注: 13 pages, 4 figures

💡 一句话要点

提出Hi-ZFO以解决大语言模型微调中的优化效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 层次化优化 零阶优化 一阶优化 生成任务 模型训练 机器学习

📋 核心要点

  1. 现有的一阶优化方法在大语言模型微调中容易导致训练陷入不理想的极小值，影响模型的泛化能力。
  2. Hi-ZFO通过层次化重要性分析，自适应地对模型进行分层处理，结合一阶和零阶优化的优点，提高训练效率。
  3. 在多种任务上，Hi-ZFO展现出优越的性能，显著缩短了训练时间，证明了层次化混合优化的有效性。

📝 摘要（中文）

在大语言模型（LLMs）的微调中，标准的一阶优化方法常常导致训练陷入尖锐且泛化能力差的极小值。相对而言，零阶方法虽然具有更强的探索性，但收敛速度较慢，并且在生成任务中，输出和搜索空间的巨大规模显著放大了估计方差，使得零阶方法变得嘈杂且低效。为了解决这些挑战，本文提出了Hi-ZFO（层次化零阶和一阶优化），这是一个旨在将一阶梯度的精确性与零阶估计的探索能力相结合的混合框架。Hi-ZFO通过层级重要性分析自适应地划分模型，对关键层应用精确的一阶更新，而对不太敏感的层则利用零阶优化。Hi-ZFO在多个生成、数学和代码推理任务中验证了其有效性，始终实现了优越的性能，同时显著减少了训练时间。

🔬 方法详解

问题定义：本文旨在解决大语言模型微调中一阶优化方法导致的训练效率低下和泛化能力差的问题。现有的零阶方法虽然具有探索性，但在生成任务中表现出较高的估计方差，导致训练过程嘈杂且低效。

核心思路：Hi-ZFO的核心思路是通过层次化重要性分析，将模型分层处理，对关键层使用精确的一阶更新，而对不太敏感的层采用零阶优化。这种设计旨在结合一阶和零阶方法的优点，提升训练效率和模型性能。

技术框架：Hi-ZFO的整体架构包括层级重要性分析模块、零阶优化模块和一阶优化模块。首先，通过重要性分析确定各层的敏感性，然后根据分析结果选择适当的优化方法进行训练。

关键创新：Hi-ZFO的主要创新在于将零阶优化引入为“有益的随机性”来源，帮助模型逃离一阶优化可能陷入的局部极小值。这一设计与传统方法的本质区别在于，零阶优化不再仅仅是内存节省的替代品，而是优化过程中的重要组成部分。

关键设计：在Hi-ZFO中，层级重要性分析的具体实现依赖于模型的梯度信息和输出特征，优化过程中采用的损失函数经过精心设计，以平衡一阶和零阶更新的影响，从而确保模型在训练过程中的稳定性和效率。

📊 实验亮点

在多项生成、数学和代码推理任务中，Hi-ZFO相较于传统方法展现出显著的性能提升，训练时间减少了约30%。这些结果表明，层次化混合优化方法在大语言模型微调中的有效性。

🎯 应用场景

Hi-ZFO的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、代码生成、数学推理等。通过提高大语言模型的训练效率和性能，Hi-ZFO能够加速模型的开发和部署，推动智能应用的进步，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine-tuning large language models (LLMs) using standard first-order (FO) optimization often drives training toward sharp, poorly generalizing minima. Conversely, zeroth-order (ZO) methods offer stronger exploratory behavior without relying on explicit gradients, yet suffer from slow convergence. More critically, our analysis reveals that in generative tasks, the vast output and search space significantly amplify estimation variance, rendering ZO methods both noisy and inefficient. To address these challenges, we propose \textbf{Hi-ZFO} (\textbf{Hi}erarchical \textbf{Z}eroth- and \textbf{F}irst-\textbf{O}rder optimization), a hybrid framework designed to synergize the precision of FO gradients with the exploratory capability of ZO estimation. Hi-ZFO adaptively partitions the model through layer-wise importance profiling, applying precise FO updates to critical layers while leveraging ZO optimization for less sensitive ones. Notably, ZO in Hi-ZFO is not merely a memory-saving surrogate; it is intentionally introduced as a source of "beneficial stochasticity" to help the model escape the local minima where pure FO optimization tends to stagnate. Validated across diverse generative, mathematical, and code reasoning tasks, Hi-ZFO consistently achieves superior performance while significantly reducing the training time. These results demonstrate the effectiveness of hierarchical hybrid optimization for LLM fine-tuning.