No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training
作者: Noel Thomas
分类: cs.LG, math.OC, stat.ML
发布日期: 2026-07-07
备注: 21 pages, 5 figures
💡 一句话要点
揭示低秩训练中的非可识别性与优化器状态问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 低秩训练 优化器 梯度投影 模型训练 自然语言处理 深度学习 状态更新
📋 核心要点
- 现有的低秩训练方法假设子空间是可追踪的，但实际中存在显著的非可识别性问题，导致优化效果不佳。
- 论文提出将每次刷新视为Adam状态的坐标变换，优化了梯度的传输方式，从而提高了模型训练的稳定性和效率。
- 实验结果表明，使用改进的LDAdam优化器在1B参数模型上达到18.7的困惑度，相较于传统方法有显著提升。
📝 摘要（中文）
内存高效的优化器如GaLore通过每T步将梯度投影到重新计算的秩-r子空间来训练大型语言模型，假设该子空间是一个缓慢漂移的对象。本文表明，除了一个小的可重现核心外，并不存在这样的对象。来自不相交小批量的同一步骤的两个秩-r子空间估计之间的差异与T步间隔的估计相当，表明每次刷新时的表观旋转主要受到估计噪声的主导。该现象在不同模型和架构中普遍存在，并随着模型规模的增大而增强。只有约39个方向在小批量间是可重现的，且平均化无法恢复其余方向。通过将每次刷新视为Adam状态的坐标变换，提出了新的优化策略，显著提高了模型的表现。
🔬 方法详解
问题定义：本文解决低秩训练中子空间非可识别性的问题，现有方法假设子空间是可追踪的，但实际中存在显著的估计噪声，导致优化效果不理想。
核心思路：论文的核心思路是将每次梯度刷新视为Adam状态的坐标变换，避免了盲目携带二阶矩的误差，从而提高了优化器的性能。
技术框架：整体架构包括梯度计算、子空间估计和状态更新三个主要模块。每个模块在训练过程中相互作用，确保优化器能够有效地适应梯度的变化。
关键创新：最重要的技术创新在于提出了基于坐标变换的优化策略，显著改善了梯度的传输方式，与传统的低秩方法相比，减少了估计噪声的影响。
关键设计：在参数设置上，采用beta2=0.999的配置使得LDAdam在训练中表现优异，同时缩短二阶矩的记忆到beta2=0.99也能提升优化效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用改进的LDAdam优化器在1B参数模型上达到了18.7的困惑度，显著优于未传输的GaLore（19.3）。此外，缩短二阶矩的记忆设置对优化器的表现也有积极影响，进一步验证了论文提出的理论。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在需要高效内存管理和快速收敛的场景中。其方法可以为未来的深度学习模型提供更稳定的训练策略，推动自然语言处理和计算机视觉等领域的发展。
📄 摘要（原文）
Memory-efficient optimizers such as GaLore train large language models by projecting gradients onto a rank-r subspace recomputed every T steps, assuming this subspace is a slowly drifting object that can be tracked. We show that beyond a small reproducible core, there is no such object. Two estimates of the top-r subspace computed at the same step from disjoint minibatches disagree as much as estimates computed T steps apart (0.73 vs 0.74 of the maximal chordal distance sqrt(2r), at Pythia-160M with r=128): the apparent rotation at each refresh is dominated by estimator noise. This holds across four model families in three architecture classes from 70M to 6.9B parameters, strengthening with scale, and more weakly in a vision transformer. Only ~39 of 128 directions are reproducible across minibatches, and averaging cannot recover the rest: under N-fold averaging the gradient's spectral tail shrinks as N^(-1/4) rather than the N^(-1/2) of pure noise, so no averaging budget makes the subspace well defined. What helps instead follows from treating each refresh as a change of coordinates for Adam's state. Carrying the second moment blindly is provably about (r-k)/2 worse than the best rotation-blind estimator, while the first moment transports exactly through the rotation, the optimal linear map under isotropic gradients and the rule LDAdam uses. At 1B over 40k steps (3 seeds), full LDAdam reaches 18.7 perplexity at beta2=0.999, beating untransported GaLore after its best beta2 fix (19.3); shortening the second-moment memory to beta2=0.99 helps the refreshing optimizers, though for canonical GaLore the effect is small and a full-rank control reverses it. One measurable fact, subspace non-identifiability, clarifies why GaLore works, which patches work, and what to check before trusting a low-rank assumption: the reproducible rank k.