Learning Perturbations to Extrapolate Your LLM

📄 arXiv: 2605.13284v1 📥 PDF

作者: Zetai Cen, Chenfei Gu, Jin Zhu, Ting Li, Yunxiao Chen, Chengchun Shi

分类: stat.ML, cs.LG, math.ST

发布日期: 2026-05-13

备注: 35 pages

💡 一句话要点

提出基于可学习扰动的LLM外推框架，提升模型在域外泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 外推学习 可学习扰动 域外泛化 无偏估计

📋 核心要点

  1. 现有方法依赖固定设计的离散扰动，缺乏灵活性，限制了LLM外推能力。
  2. 提出一种基于可学习变换的连续潜在向量扰动方法，增强token前缀的多样性。
  3. 实验表明，该方法在域外数据集上显著优于现有技术，提升了泛化性能。

📝 摘要（中文）

大型语言模型（LLM）的最新进展表明，注入扰动可以显著增强外推性能。然而，目前的方法通常依赖于具有固定设计的离散扰动，这限制了它们的灵活性。本文提出了一个框架，其中token前缀通过嵌入空间内连续潜在向量的可学习变换进行扰动。为了克服难以处理的边际似然的挑战，我们推导了模型参数的无偏估计方程，并通过随机梯度下降对其进行优化。我们建立了所得估计器在过度参数化状态下的统计特性。在合成和真实世界数据集上的经验评估表明，与一系列最先进的基线方法相比，我们的方案在域外设置中产生了显著的收益。

🔬 方法详解

问题定义：现有的大型语言模型在进行外推时，往往依赖于预先设定的离散扰动，这些扰动形式固定，无法根据不同的输入进行自适应调整，从而限制了模型在未见过的领域或分布上的泛化能力。现有方法的痛点在于扰动方式的僵化和缺乏灵活性。

核心思路：本文的核心思路是将离散的、固定的扰动替换为连续的、可学习的扰动。具体来说，通过将token前缀映射到一个连续的潜在空间，并学习一个变换函数，对该潜在空间中的向量进行扰动。这种方式可以生成更加多样化和自适应的扰动，从而提高模型的外推能力。

技术框架：该框架主要包含以下几个模块：1) Token前缀嵌入模块：将输入的token前缀嵌入到高维的向量空间中。2) 潜在扰动生成模块：通过一个可学习的变换函数，将一个随机的潜在向量映射为一个扰动向量。3) 扰动注入模块：将生成的扰动向量添加到token前缀的嵌入向量中。4) LLM预测模块：将扰动后的嵌入向量输入到LLM中进行预测。整个框架通过端到端的方式进行训练。

关键创新：最重要的技术创新点在于使用可学习的连续扰动来替代传统的离散扰动。这种方法允许模型根据输入自适应地生成扰动，从而更好地适应不同的领域和分布。与现有方法的本质区别在于扰动的生成方式，现有方法采用固定的扰动模式，而本文提出的方法采用可学习的扰动模式。

关键设计：关键设计包括：1) 潜在扰动生成模块的结构，可以使用神经网络或其它可学习的函数。2) 损失函数的设计，需要考虑如何鼓励模型生成多样化和有效的扰动。3) 为了解决边际似然难以处理的问题，论文推导了无偏估计方程，并通过随机梯度下降进行优化。4) 论文还分析了在过度参数化状态下估计器的统计特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在合成和真实世界数据集上均取得了显著的性能提升。在域外设置中，该方法优于一系列最先进的基线方法。具体的性能数据和提升幅度在论文中进行了详细的展示，证明了该方法在提升LLM外推能力方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要LLM具备良好外推能力的场景，例如：在新的语言或文化背景下进行文本生成、在医疗或金融等专业领域进行知识推理、以及在对抗性攻击环境下提高模型的鲁棒性。该方法能够提升LLM在实际应用中的泛化性和可靠性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recent advancements in large language models demonstrate that injecting perturbations can substantially enhance extrapolation performance. However, current approaches often rely on discrete perturbations with fixed designs, which limits their flexibility. In this work, we propose a framework where token prefixes are perturbed by a learnable transformation of a continuous latent vector within an embedding space. To overcome the challenge of an intractable marginal likelihood, we derive unbiased estimating equations for model parameters and optimize them via stochastic gradient descent. We establish the statistical properties of the resulting estimator in over-parameterized regimes. Empirical evaluations on both synthetic and real-world datasets demonstrate that our proposal yields significant gains in out-of-domain settings over a range of state-of-the-art baseline methods.