InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting

📄 arXiv: 2605.14967v1 📥 PDF

作者: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

分类: cs.LG, stat.ML

发布日期: 2026-05-14

💡 一句话要点

InfoSFT：通过信息感知的Token权重学习，提升LLM泛化能力并减少遗忘

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督微调 信息感知 Token加权 大型语言模型 泛化能力

📋 核心要点

  1. 现有SFT方法平等对待所有样本，易过拟合低概率样本，损害模型原有能力。
  2. InfoSFT根据token信息量进行加权，关注信息量大、置信度适中的token。
  3. 实验表明，InfoSFT在多种任务和模型上，提升了泛化能力并保留了原有能力。

📝 摘要（中文）

监督式微调(SFT)是利用离线专家演示数据教导大型语言模型(LLM)新行为的标准方法。然而，标准的SFT对所有样本进行统一拟合，包括那些在基础模型下可能性较低的样本，这可能导致训练更新过度拟合特定样本，而不是学习目标行为。此外，适应这些不太可能的样本会导致显著的策略转变，从而降低先前的能力。现有方法通过过滤、重新生成或降低低可能性数据的权重来缓解这个问题。但这样做时，它们通常会抑制基础模型尚未学习的新行为。我们提出了InfoSFT，一种SFT目标函数的原则性加权方案，它将学习信号集中在信息量最大、置信度适中的token上——这些token既不过于为基础模型所熟悉，也不太可能导致不稳定性。InfoSFT仅需对标准token级损失进行一行修改，即可在数学、代码和思维链任务中，通过不同的模型系列，显著提高泛化能力，优于vanilla SFT和似然加权基线，同时更好地保留了预先存在的能力。

🔬 方法详解

问题定义：论文旨在解决监督微调（SFT）中，大型语言模型（LLM）容易过拟合低概率样本，并遗忘原有能力的问题。现有SFT方法对所有token一视同仁，导致模型在学习新知识时，容易受到噪声样本的干扰，并且会显著改变模型的策略，从而降低其在原有任务上的表现。

核心思路：InfoSFT的核心思路是根据token的信息量来调整其在训练过程中的权重。具体来说，它会降低那些模型已经非常熟悉（高置信度）或者非常不熟悉（低置信度）的token的权重，而增加那些信息量最大、置信度适中的token的权重。这样做的目的是让模型更加关注那些能够带来新知识，但又不会导致模型不稳定的token。

技术框架：InfoSFT的整体框架与标准的SFT相同，都是基于token级别的损失函数进行训练。不同之处在于，InfoSFT在计算损失函数时，会对每个token的损失进行加权。这个权重是根据token的信息量来计算的。具体来说，论文使用基础模型对每个token的预测概率来衡量其信息量。

关键创新：InfoSFT最重要的技术创新点在于其信息感知的token加权方案。与现有方法（如过滤、重采样或似然加权）不同，InfoSFT不是简单地丢弃或降低低概率样本的权重，而是根据token的信息量来动态调整其权重。这种方法能够更有效地利用训练数据，并且能够更好地保留模型的原有能力。

关键设计：InfoSFT的关键设计在于如何计算token的权重。论文使用以下公式来计算token的权重：weight = exp(-abs(log(p) - mu) / sigma)，其中p是基础模型对token的预测概率，mu和sigma是超参数，用于控制权重的分布。这个公式的设计思想是，当token的预测概率接近mu时，其权重最大；当token的预测概率远离mu时，其权重会指数级下降。mu和sigma的值需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InfoSFT在数学、代码和思维链任务上，显著优于vanilla SFT和似然加权基线。例如，在数学任务上，InfoSFT将模型的准确率提高了5-10个百分点。此外，InfoSFT还能够更好地保留模型的原有能力，减少了在微调过程中对原有知识的遗忘。

🎯 应用场景

InfoSFT可应用于各种需要通过监督微调来提升大型语言模型性能的场景，例如数学问题求解、代码生成、思维链推理等。该方法能够提高模型在新任务上的泛化能力，并减少对原有能力的遗忘，从而提升模型的整体性能和可靠性。未来，InfoSFT可以进一步扩展到其他类型的模型和任务中，例如多模态学习和强化学习。

📄 摘要（原文）

Supervised fine-tuning (SFT) provides the standard approach for teaching LLMs new behaviors from offline expert demonstrations. However, standard SFT uniformly fits all samples -- including those with low likelihood under the base model -- which can disproportionately drive training updates toward overfitting specific samples rather than learning the target behavior. Moreover, adapting to these unlikely samples induces substantial policy shifts that degrade prior capabilities. Existing methods mitigate this by filtering, regenerating, or down-weighting low-likelihood data. In doing so, they often suppress precisely the novel behaviors the base model has yet to learn. We propose InfoSFT, a principled weighting scheme for the SFT objective that concentrates learning signals on maximally informative, medium-confidence tokens -- those neither overly familiar to the base model nor too unlikely to cause instability. Requiring only a one-line modification to the standard token-wise loss, InfoSFT demonstrably improves generalization over vanilla SFT and likelihood-weighted baselines across math, code, and chain-of-thought tasks with diverse model families, while better preserving pre-existing capabilities.