Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning

📄 arXiv: 2610.12865v1 📥 PDF

作者: M. Berk Sahin, Ege C. Kaya, Arda Fazla, Behzad Sharif, Abolfazl Hashemi

分类: cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出鲁棒Langevin采样以解决状态依赖重尾噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 鲁棒采样 Langevin方法 重尾噪声 贝叶斯微调 大语言模型 Fisher信息 自适应算法

📋 核心要点

  1. 现有的SG-LMC方法在处理非对数凹采样时，假设全局Lipschitz梯度和均匀有界噪声方差，这在实际应用中常常不成立。
  2. 本文提出了一种状态依赖重尾oracle，结合广义光滑性，提出了三种新方法来处理这些假设的放宽。
  3. 实验结果表明，RA-LMC在大语言模型的贝叶斯微调中，准确性和不确定性量化方面均优于现有的最先进基线。

📝 摘要（中文）

现有的随机梯度Langevin蒙特卡洛（SG-LMC）采样收敛保证通常假设全局Lipschitz梯度和均匀有界噪声方差，这在实际应用中可能不成立。本文通过引入广义光滑性和状态依赖重尾oracle，放宽了这两个假设。我们提出了三种方法：鲁棒LMC（R-LMC）、自适应LMC（A-LMC）和鲁棒自适应LMC（RA-LMC），并在Fisher信息下建立了非渐近收敛保证。合成实验和大语言模型的贝叶斯微调实验表明，RA-LMC在准确性和不确定性量化方面优于现有基线。

🔬 方法详解

问题定义：本文旨在解决现有SG-LMC方法在非对数凹采样中的收敛性问题，尤其是在全局Lipschitz梯度和均匀有界噪声方差假设失效的情况下。

核心思路：通过引入状态依赖重尾oracle和广义光滑性，放宽了对噪声和梯度的假设，从而提高了采样的鲁棒性和有效性。

技术框架：整体框架包括三种方法：R-LMC通过几何中位数中心化和残差裁剪处理oracle；A-LMC在广义光滑性下控制离散化误差；RA-LMC结合鲁棒估计和噪声感知步长，处理两种放宽。

关键创新：最重要的创新在于提出了状态依赖重尾oracle，允许无限方差的情况，并且在Fisher信息下建立了非渐近收敛保证，突破了传统方法的限制。

关键设计：在R-LMC中，采用几何中位数中心化和残差裁剪来增强鲁棒性；A-LMC则通过精确梯度控制离散化误差；RA-LMC则结合了鲁棒估计和动态步长调整，以适应不同噪声水平。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，RA-LMC在大语言模型的贝叶斯微调中，准确性和不确定性量化方面均超过了现有的最先进基线，表现出显著的性能提升，具体数据未提供。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的贝叶斯微调和视觉-语言模型的训练。通过提高采样的鲁棒性和准确性，能够在实际应用中更好地处理复杂的噪声环境，提升模型的性能和可靠性。

📄 摘要（原文）

Existing convergence guarantees for non-log-concave sampling with stochastic gradient Langevin Monte Carlo (SG-LMC) typically assume globally Lipschitz gradients and uniformly bounded noise variance. Both assumptions can fail even in elementary sampling problems, and relaxing them better reflects practical applications such as Bayesian fine-tuning of large language models (LLMs). We relax both assumptions through generalized smoothness and our proposed state-dependent heavy-tailed oracle with finite $p$-th moments, $1<p\leq 2$. The oracle permits infinite variance when $p<2$ and includes the Blum-Gladyshev (BG-0) condition. We study these relaxations separately and jointly, proposing three methods. Under globally Lipschitz gradients, robust LMC (R-LMC) handles the proposed oracle through geometric-median centering and residual clipping. With exact gradients, adaptive LMC (A-LMC) controls discretization error under generalized smoothness. Robust adaptive LMC (RA-LMC) addresses both relaxations through robust estimation and a noise-aware step size. For all three methods, we establish non-asymptotic convergence guarantees in Fisher information (FI) without assuming dissipativity or a functional inequality. Synthetic experiments demonstrate FI convergence and the benefit of each mechanism. Bayesian fine-tuning experiments with LLMs and vision-language models support our oracle model and show that RA-LMC matches or outperforms state-of-the-art baselines in accuracy and uncertainty quantification.