Muon Learns More Robust and Transferable Features than Adam

📄 arXiv: 2606.09658v1 📥 PDF

作者: Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang

分类: cs.LG, cs.AI

发布日期: 2026-06-08

💡 一句话要点

提出Muon优化器以提升特征学习的鲁棒性与可迁移性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化器 特征学习 鲁棒性 迁移性 深度学习 计算机视觉 自然语言处理 模型微调

📋 核心要点

  1. 现有优化器如Adam和SGD在特征学习的鲁棒性和迁移性方面存在不足，尤其在处理损坏数据时表现不佳。
  2. 本文提出Muon优化器，通过改进特征学习过程，增强模型在不同任务中的鲁棒性和迁移能力。
  3. 实验结果表明，Muon学习的特征在多种架构中均表现出更大的边际和更高的有效秩，迁移效果显著优于传统优化器。

📝 摘要（中文）

Muon最近成为预训练大型语言模型和视觉分类器的最先进优化器。尽管其在效率上优于Adam和SGD，但Muon在特征学习方面的优势尚不明确。本文通过评估预训练模型在损坏图像和文本上的表现，展示了Muon学习的特征在不同架构（包括变换器和卷积神经网络）中比Adam和SGD更具鲁棒性。此外，通过在下游任务上训练线性分类器或微调完整模型，证明了Muon学习的特征在迁移性上更为有效。最后，在具有多组件特征的分类问题中，Muon在边际和有效秩上均优于Adam和SGD，为我们的实证发现提供了理论支持。

🔬 方法详解

问题定义：本文旨在解决现有优化器在特征学习过程中鲁棒性和迁移性不足的问题。Adam和SGD在处理损坏数据时的表现较差，限制了模型的实际应用。

核心思路：论文提出Muon优化器，通过优化特征学习过程，增强模型在不同任务中的鲁棒性和迁移能力。Muon的设计旨在提高特征的有效性，使其在面对挑战性数据时仍能保持较高的性能。

技术框架：Muon的整体架构包括预训练阶段和下游任务微调阶段。在预训练阶段，Muon优化器用于训练模型以学习鲁棒特征；在微调阶段，通过线性分类器或完整模型的微调，验证特征的迁移能力。

关键创新：Muon的主要创新在于其特征学习过程的设计，使得学习到的特征在鲁棒性和迁移性上显著优于Adam和SGD。通过层级探测器的使用，Muon能够在不同层次上反映出更大的边际和有效秩。

关键设计：在参数设置上，Muon优化器采用了特定的学习率调度和损失函数设计，以确保特征学习的稳定性和有效性。网络结构方面，Muon在变换器和卷积神经网络中均表现出色，适应性强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Muon学习的特征在多个模型架构中均展现出更高的鲁棒性和迁移性。在处理损坏图像和文本时，Muon的特征学习表现出比Adam和SGD更大的边际，且有效秩显著提高，证明了其在特征学习上的优势。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理和计算机视觉等领域，尤其是在需要处理噪声或损坏数据的任务中。Muon优化器的鲁棒性和迁移性优势将有助于提升模型在实际应用中的表现，推动相关技术的发展与应用。

📄 摘要（原文）

Muon has recently emerged as a state-of-the-art optimizer for pretraining Large Language Models (LLMs) and vision classifiers. Despite its efficiency advantage over Adam and SGD, the feature-learning advantage of Muon remains unclear. This paper investigates Muon's feature-learning advantage through the lens of robustness and transferability. First, by evaluating pretrained models on corrupted images and texts, we show that features learned by Muon are consistently more robust than those learned by Adam and SGD across different architectures, including transformers and Convolutional Neural Networks (CNNs). Using trained layer-wise probes, we further show that this robustness advantage is reflected in larger logit margins across layers. Second, by training linear classifiers or fine-tuning full models from pretrained parameters on downstream tasks, we demonstrate that Muon-learned features transfer more effectively than those learned by Adam and SGD. This transferability advantage is further supported by the diversity of hidden states across layers, as measured by effective rank. Finally, in a representative classification problem with multi-component features, we prove that Muon attains larger margins and higher effective rank than Adam and SGD, providing theoretical support for our empirical findings.