Sample-Adaptive Zeroth-Order Post-Training

📄 arXiv: 2610.12566v1 📥 PDF

作者: Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang

分类: cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出样本自适应零阶后训练方法以提升收敛速度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零阶优化 样本自适应 模型微调 收敛速度 机器学习

📋 核心要点

  1. 现有的零阶优化方法在样本采样时通常采用均匀策略，未能充分考虑样本的重要性变化，导致估计方差较大。
  2. 本文提出的样本自适应零阶优化（SAZO）方法，通过在线学习样本重要性，自适应分配查询以加速模型收敛。
  3. 实验结果显示，SAZO在四个模型系列上实现了更好的下游任务性能，并在查询次数上收敛速度提升高达6倍。

📝 摘要（中文）

零阶优化（ZO）为大规模语言模型的微调提供了一种内存高效的替代方案。然而，现有的ZO方法通常均匀采样训练示例，忽视了样本重要性的变化，导致可避免的估计方差。为了解决这一局限性，我们提出了样本自适应零阶优化（SAZO），该方法在线学习样本重要性并自适应分配查询以加速收敛。SAZO从现有的方向差异中提取梯度范数信息，以在不访问真实梯度的情况下估计样本重要性。此外，为了跟踪稀疏小批量反馈中的重要性变化，SAZO维护每个示例的指数移动平均，聚合跨更新的观察结果。该方法与MeZO相比，仅需$O(N)$的额外标量状态，且不需要额外的模型评估。我们证明SAZO在渐近上匹配最小方差采样oracle的领先收敛项，并实现比标准方法更快的收敛速度。四个模型系列的广泛实验表明，SAZO在平均下游性能上有所提升，并在查询次数方面实现了高达$6 imes$的收敛速度。

🔬 方法详解

问题定义：本文旨在解决现有零阶优化方法在样本均匀采样时忽视样本重要性变化的问题，导致收敛速度慢和估计方差大。

核心思路：SAZO通过在线学习样本的重要性，并根据重要性自适应地分配查询，从而加速收敛过程。该方法利用方向差异提取梯度范数信息，而无需真实梯度。

技术框架：SAZO的整体架构包括样本重要性估计模块和查询分配模块。前者通过指数移动平均跟踪样本重要性，后者根据估计的重要性动态调整查询分配。

关键创新：SAZO的主要创新在于其样本自适应机制，能够实时调整样本的重要性评估，与传统均匀采样方法相比，显著降低了估计方差并加快了收敛速度。

关键设计：SAZO使用每个示例的指数移动平均来聚合观察结果，且与MeZO相比，仅需$O(N)$的额外标量状态，避免了额外的模型评估开销。该设计使得方法在计算上更加高效。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，SAZO在四个不同模型系列上实现了平均下游性能的提升，并在查询次数方面收敛速度提高了高达6倍，相较于标准方法表现出显著的优势。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的微调、在线学习系统以及需要快速收敛的机器学习任务。SAZO方法的高效性和自适应性使其在实际应用中具有重要价值，能够显著提升模型训练的效率和效果。

📄 摘要（原文）

Zeroth-order (ZO) optimization offers a memory-efficient alternative to backpropagation for fine-tuning large language models. However, existing ZO methods typically sample training examples uniformly, overlooking their evolving importance and leaving avoidable estimation variance. To address this limitation, we propose Sample-Adaptive Zeroth-Order Optimization (SAZO), which learns sample importance online and adaptively allocates queries to accelerate convergence. SAZO extracts gradient-norm information from existing directional differences to estimate sample importance without access to true gradients. Furthermore, to track evolving importance from sparse minibatch feedback, SAZO maintains per-example exponential moving averages that aggregate observations across updates. The method requires no additional model evaluations and only $O(N)$ additional scalar state compared with MeZO. We prove that SAZO asymptotically matches the leading convergence term of the minimum-variance sampling oracle, and achieves a strictly faster convergence rate than standard methods. Extensive experiments across four model families demonstrate improved average downstream performance and up to $6\times$ faster convergence to the same training loss in terms of query count.