SoftServe: A Scalable Quasi-Newton Method for Deep Learning

📄 arXiv: 2610.02182v1 📥 PDF

作者: Joohwan Ko, Tetiana Parshakova, Diana Cai, Robert M. Gower

分类: cs.LG, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出SoftServe以解决深度学习中的优化问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 准牛顿方法 深度学习 优化算法 非凸优化 神经网络 GPU计算 物理信息网络

📋 核心要点

  1. 现有的准牛顿方法在深度学习中面临非凸性和参数规模巨大的挑战，限制了其应用。
  2. SoftServe通过不依赖线搜索和临时曲率修正，提出了一种新的QN方法，能够有效处理负曲率情况。
  3. 实验结果表明，SoftServe在多个复杂任务中表现优异，损失值通常低于传统优化算法的基线。

📝 摘要（中文）

准牛顿（QN）方法长期以来被认为是大规模无约束凸优化的有效方法。然而，由于非凸性和巨大的参数规模，这些方法在深度学习中的应用受到限制。本文提出了SoftServe，一系列旨在克服这些障碍的QN方法，无需线搜索或临时曲率修正。SoftServe从Berglund等人（2025）的变分目标中推导出正定曲率估计，即使在存在负曲率的情况下也能有效工作。我们开发了对角和Kronecker因子变体，这些变体通过构造保持正定性，并能够扩展到大规模神经网络。最后，SoftServe依赖于稳定的耦合牛顿-舒尔茨迭代进行所需的矩阵运算，用GPU友好的矩阵乘法替代了昂贵的矩阵分解。SoftServe在严重病态的问题上表现出色，包括递归网络、深度自编码器、物理信息神经网络等任务，通常能实现比现有基线（如Adam、Muon和SOAP）更低的损失。

🔬 方法详解

问题定义：本文旨在解决深度学习中的优化问题，尤其是准牛顿方法在非凸性和大参数规模下的应用限制。现有方法在处理这些问题时效率低下，无法满足实际需求。

核心思路：SoftServe的核心思路是通过构造正定曲率估计，避免线搜索和临时修正，从而提高优化效率。该方法能够在存在负曲率的情况下仍然保持稳定性。

技术框架：SoftServe的整体架构包括对角和Kronecker因子变体，这些变体通过设计确保正定性，并且能够扩展到大规模神经网络。它还使用稳定的耦合牛顿-舒尔茨迭代来进行矩阵运算，替代了传统的矩阵分解。

关键创新：SoftServe的主要创新在于其能够在负曲率情况下推导出正定曲率估计，并且通过GPU友好的矩阵乘法提高了计算效率。这与现有方法的依赖于昂贵的矩阵分解形成鲜明对比。

关键设计：在设计上，SoftServe的对角和Kronecker变体确保了正定性，且在参数设置上进行了优化，以适应大规模神经网络的需求。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SoftServe在处理严重病态问题时表现优异，尤其是在递归网络和物理信息神经网络任务中，损失值通常低于现有优化算法（如Adam、Muon和SOAP），显示出显著的性能提升。

🎯 应用场景

SoftServe在多个深度学习任务中具有广泛的应用潜力，特别是在递归网络、深度自编码器和物理信息神经网络等领域。其高效的优化能力可以帮助研究人员和工程师在处理复杂模型时显著提高训练速度和效果，推动深度学习技术的进一步发展。

📄 摘要（原文）

Quasi-Newton (QN) methods have long been among the most effective methods for large-scale unconstrained convex optimization. Two obstacles have limited their use in deep learning: non-convexity and enormous parameter sizes. We introduce SoftServe, a family of QN methods designed to overcome these obstacles without line searches or ad hoc curvature corrections. SoftServe derives positivedefinite curvature estimates from the variational objective of Berglund et al. (2025), even in the presence of negative curvature. We develop diagonal and Kroneckerfactored variants that preserve positive definiteness by construction and scale to massive neural networks. Finally, SoftServe relies on the stable coupled Newton-Schulz iteration for the required matrix operations, replacing costly matrix decompositions with GPU-friendly matrix multiplications. SoftServe excels on problems that are severely ill-conditioned, including tasks such as recurrent networks, deep autoencoders, physics-informed neural networks, and a 136M-parameter physics-informed diffusion model, often achieving lower losses than established baselines including Adam, Muon, and SOAP.