Convergence of Spectral Descent for Non-smooth Optimization

📄 arXiv: 2605.26977v1 📥 PDF

作者: Yixuan Yang, Yuqing He, Song Li

分类: cs.LG, math.OC

发布日期: 2026-05-26

💡 一句话要点

针对非光滑优化，提出谱下降算法的收敛性分析框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非光滑优化 谱下降算法 收敛性分析 Muon优化器 低秩矩阵恢复

📋 核心要点

  1. Muon优化器在LLM训练中表现出色，但缺乏非光滑场景下的理论支撑。
  2. 论文研究了Muon的简化变体谱下降(SD)及其截断版本(TSD)，分析其收敛性。
  3. 证明了SD和TSD在特定条件下具有线性收敛性，并在低秩矩阵恢复上验证有效性。

📝 摘要（中文）

Muon优化器最近在训练大型语言模型方面表现出卓越的经验效果。然而，对其机制的理论理解仍然有限。目前Muon的收敛性保证严重依赖于光滑性假设，使其非光滑收敛行为在很大程度上未被探索。在这项工作中，我们通过研究谱下降(SD)及其截断变体截断谱下降(TSD)，朝着弥合这一差距迈出了一步。在凸性、Lipschitz连续性和锐度条件下，我们为非光滑凸公式中的SD和TSD建立了全局线性收敛性。我们还研究了配备解耦权重衰减的正则化变体，并通过它们与Frank-Wolfe方法的联系推导出次线性收敛性保证。最后，我们将我们的理论框架应用于混合稀疏和稠密噪声下的鲁棒低秩矩阵恢复，并提供严格的恢复保证。数值实验支持了理论发现，并证明了Muon类型方法对于非光滑优化的有效性。

🔬 方法详解

问题定义：论文旨在解决非光滑凸优化问题，并为Muon优化器及其变体提供理论保障。现有Muon的收敛性分析主要依赖于光滑性假设，无法解释其在非光滑场景下的有效性。因此，需要研究非光滑优化场景下Muon类算法的收敛性质。

核心思路：论文的核心思路是通过分析Muon优化器的简化版本——谱下降(SD)及其截断版本(TSD)的收敛性，来理解Muon在非光滑优化中的行为。通过对SD和TSD进行理论分析，推导出其在凸性、Lipschitz连续性和锐度条件下的收敛性保证。

技术框架：论文的技术框架主要包括以下几个部分：1) 定义谱下降(SD)和截断谱下降(TSD)算法；2) 在凸性、Lipschitz连续性和锐度条件下，证明SD和TSD的全局线性收敛性；3) 研究配备解耦权重衰减的正则化变体，并推导其次线性收敛性保证；4) 将理论框架应用于鲁棒低秩矩阵恢复问题，并提供严格的恢复保证；5) 通过数值实验验证理论结果。

关键创新：论文最重要的技术创新在于建立了谱下降算法(SD)及其截断版本(TSD)在非光滑凸优化问题中的收敛性理论。与现有方法相比，该研究不再依赖于光滑性假设，而是基于凸性、Lipschitz连续性和锐度条件，为SD和TSD提供了更广泛的收敛性保证。

关键设计：论文的关键设计包括：1) 谱下降算法(SD)的步长选择策略；2) 截断谱下降算法(TSD)的截断阈值设置；3) 解耦权重衰减的正则化项设计；4) 鲁棒低秩矩阵恢复问题的目标函数和约束条件设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过理论分析证明了谱下降(SD)及其截断版本(TSD)在非光滑凸优化问题中的线性收敛性。数值实验表明，Muon类型的方法在鲁棒低秩矩阵恢复问题上表现出良好的性能，验证了理论分析的有效性。实验结果支持了在非光滑优化中使用Muon类算法的合理性。

🎯 应用场景

该研究成果可应用于大规模机器学习模型的训练，尤其是在目标函数非光滑的场景下，例如对抗训练、量化训练等。此外，该理论框架还可以推广到其他非光滑优化问题，如图像处理、信号处理等领域，具有重要的实际应用价值和理论指导意义。

📄 摘要（原文）

The Muon optimizer has recently demonstrated remarkable empirical success in training large language models. However, the theoretical understanding of its mechanisms remains limited. Current convergence guarantees for Muon rely heavily on smoothness assumptions, leaving its non-smooth convergence behavior largely unexplored. In this work, we take a step toward bridging this gap by investigating Spectral Descent (SD), a simplified variant of Muon, together with its truncated counterpart, Truncated Spectral Descent (TSD). Under convexity, Lipschitz continuity, and sharpness conditions, we establish global linear convergence for both SD and TSD in non-smooth convex formulations. We also study regularized variants equipped with decoupled weight decay and derive sublinear convergence guarantees through their connection with Frank-Wolfe methods. Finally, we apply our theoretical framework to robust low-rank matrix recovery under mixed sparse and dense noise regimes and provide rigorous recovery guarantees. Numerical experiments support the theoretical findings and demonstrate the effectiveness of Muon-type methods for non-smooth optimization.