Musec: MomentUm SpEctral Clipping for Stable Muon-type Training
作者: Zhuanghua Liu, Menglian Wang, Luo Luo
分类: cs.LG
发布日期: 2026-09-10
💡 一句话要点
提出MomentUm SpEctral Clipping以解决Muon训练不稳定问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 优化器 大语言模型 训练稳定性 谱裁剪 非凸优化 深度学习 机器学习
📋 核心要点
- 现有的Muon优化器在训练过程中容易出现不稳定现象，导致损失波动和模型权重增长失控。
- 本文提出的Musec通过谱裁剪替代Muon的谱平坦化，提供了一种架构无关的稳定训练机制。
- 实验结果表明，Soft Musec在多种设置下均优于现有Muon变体，尤其在不稳定情况下表现出色。
📝 摘要（中文）
Muon作为一种高效的优化器，在大语言模型训练中表现出优越的收敛性和性能。然而，由于其谱平坦化特性，Muon在训练过程中容易出现不稳定现象，如损失峰值和模型权重无限增长。现有方法主要依赖于权重或注意力日志裁剪，无法全面解决模型各组件的不稳定性。为此，本文提出MomentUm SpEctral Clipping（Musec），通过谱裁剪替代Muon的谱平坦化，保留动量的谱结构。我们进一步开发了Soft Musec，利用平滑的谱饱和函数实现高效的计算。理论上，我们为Musec在非凸非光滑随机优化中建立了收敛性保证，这是首次针对Muon类方法在该设置下的收敛性保证。实证研究表明，Soft Musec在多种学习率和模型规模下显著提高了训练稳定性。
🔬 方法详解
问题定义：本文旨在解决Muon优化器在训练过程中出现的不稳定性问题，现有方法如权重裁剪和注意力日志裁剪无法全面应对所有模型组件的不稳定性。
核心思路：Musec通过谱裁剪而非谱平坦化来稳定训练，裁剪超过阈值的奇异值，同时保留动量的谱结构，从而实现优化器级别的稳定性。
技术框架：Musec的整体架构包括动量矩阵的谱裁剪模块和Soft Musec的高效实现，后者使用耦合的牛顿-舒尔茨迭代来近似平滑的谱饱和函数。
关键创新：Musec是首个在非凸非光滑随机优化中为Muon类方法提供收敛性保证的工作，显著提升了训练的稳定性。
关键设计：在Soft Musec中，设计了平滑的谱饱和函数和相应的参数设置，以确保在不同学习率和模型规模下的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Soft Musec在多种学习率和模型规模下均显著提高了训练稳定性，相较于现有Muon变体，在不稳定设置下表现出色，同时在良好调优的配置下与其性能相当。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的训练和其他深度学习任务，尤其是在需要高效优化和稳定性的场景。Musec的设计理念可以推广到其他优化器，提升其在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Muon has emerged as a highly effective optimizer for large language model training, often achieving superior convergence and performance compared with the widely adopted Adam and AdamW optimizers. Nevertheless, Muon is prone to training instability due to its spectral flattening, manifested by loss spikes and unbounded growth of model weights. Existing approaches primarily rely on weight or attention-logit clipping, which require architecture-specific modifications and do not directly address instability across all model components. We propose MomentUm SpEctral Clipping (Musec), which replaces Muon's spectral flattening with spectral clipping: rather than setting all singular values of the momentum matrix to approximately one, Musec clips singular values that exceed a threshold while preserving the underlying spectral structure of the momentum. Our strategy provides an optimizer-level, architecture-agnostic mechanism for stabilizing Muon training. We further develop Soft Musec, an efficient implementation that uses a smooth spectral saturation function approximated by coupled Newton-Schulz iterations. Theoretically, we establish convergence guarantees for Musec in nonconvex nonsmooth stochastic optimization. To the best of our knowledge, this is the first convergence guarantee for Muon-type methods in the nonconvex nonsmooth setting. We provide empirical studies to show that Soft Musec consistently improves training stability over existing Muon variants across a wide range of learning rates and model sizes. Notably, Soft Musec remains stable in settings where existing Muon variants diverge, while matching their performance under well-tuned configurations.