What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training

📄 arXiv: 2610.12995v1 📥 PDF

作者: Yuxuan Gu, Kequan Niu, Xiaocheng Feng, Yun Li, Yiqiao Yang, Bing Qin

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出CIG-SFT以解决后训练模型泛化能力不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督微调 信息论 条件信息增益 大语言模型 泛化能力 动态微调 数学推理 代码生成

📋 核心要点

  1. 现有的监督微调方法可能会干扰模型的预训练行为，限制其在训练分布之外的泛化能力。
  2. 本文提出CIG-SFT，通过信息论框架评估每个示例标记的任务条件信息，从而优化微调过程。
  3. 在多个基准测试中，CIG-SFT在泛化能力上显著优于标准SFT和自适应微调方法，且无需额外训练数据。

📝 摘要（中文）

监督微调（SFT）是后训练大语言模型的常用方法，但固定示例可能会干扰模型的预训练行为，限制其泛化能力。动态SFT方法通过根据模型信号重新加权标记级监督来缓解这一问题。然而，模型兼容性并不等同于学习价值。本文提出CIG-SFT，一个信息论框架，估计每个示例标记所携带的任务条件信息。通过比较冻结参考模型在有无任务输入情况下的标记似然性，量化任务如何减少对示例决策的不确定性。CIG-SFT在数学推理和代码生成基准上表现优于标准SFT和近期自适应微调基线，特别是在挑战性评估分布上的泛化能力显著提升。

🔬 方法详解

问题定义：本文解决的是监督微调（SFT）在后训练大语言模型中泛化能力不足的问题。现有方法通过固定示例进行微调，可能会干扰模型的预训练行为，限制其在新任务上的表现。

核心思路：CIG-SFT的核心思路是引入信息论框架，量化每个示例标记所携带的任务条件信息，从而优化微调过程，确保模型学习到有价值的决策。

技术框架：CIG-SFT的整体架构包括两个主要模块：首先，比较冻结参考模型在有无任务输入情况下的标记似然性；其次，计算条件信息增益，以此指导模型的微调过程。

关键创新：CIG-SFT的创新点在于通过条件信息增益来量化任务对决策不确定性的减少，这一方法与传统的动态SFT方法本质上不同，后者主要关注模型兼容性而非学习价值。

关键设计：在损失函数设计上，CIG-SFT采用KL正则化投影当前策略，并推导出与投影目标的logit梯度完全匹配的标量加权SFT目标。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在数学推理和代码生成的基准测试中，CIG-SFT的表现显著优于标准SFT和近期的自适应微调基线，尤其在挑战性评估分布上的泛化能力提升幅度达到XX%（具体数据未知），显示出其在复杂任务中的有效性。

🎯 应用场景

CIG-SFT的研究成果在多个领域具有潜在应用价值，包括自然语言处理中的文本生成、代码生成以及其他需要后训练微调的任务。通过提高模型的泛化能力，该方法能够在实际应用中提升模型在新任务上的表现，具有广泛的实际意义和未来影响。

📄 摘要（原文）

Supervised fine-tuning (SFT) remains a widely used approach for post-training large language models, because fixed demonstrations can directly introduce desired reasoning strategies and behavioral patterns. Yet forcing a model to imitate externally provided trajectories may also interfere with behaviors already supported by pretraining, limiting generalization beyond the training distribution. Recent dynamic SFT methods mitigate this issue by reweighting token-level supervision according to model-side signals such as predictive probability, prior support, or distributional compatibility. However, model compatibility is not equivalent to learning value: a token that is weakly supported by the current model may either be an undesirable mismatch or precisely the task-specific decision that the demonstration is intended to teach. We propose CIG-SFT, an information-theoretic framework that estimates the task-conditioned information carried by each demonstrated token. Under teacher forcing, we compare the token likelihood from a frozen reference model with and without access to the task input while keeping the gold solution prefix fixed. The resulting conditional information gain quantifies how much the task itself reduces uncertainty about the demonstrated decision. We then convert this information into a KL-regularized projection of the current policy and derive an equivalent scalar-weighted SFT objective whose logit gradient exactly matches that of the projected target. Across mathematical reasoning and code-generation benchmarks, CIG-SFT consistently outperforms standard SFT and recent adaptive fine-tuning baselines, with particularly strong improvements in generalization to challenging evaluation distributions, while requiring neither additional training data nor online rollouts.