Logits-Based Finetuning

📄 arXiv: 2505.24461v2 📥 PDF

作者: Jingyao Li, Senqiao Yang, Sitong Wu, Han Shi, Chuanyang Zheng, Hong Xu, Jiaya Jia

分类: cs.LG

发布日期: 2025-05-30 (更新: 2025-06-11)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Logits的微调方法以解决传统SFT的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监督微调 知识蒸馏 logits 自然语言处理 模型训练 数学基准测试

📋 核心要点

  1. 传统的监督微调方法在捕捉token级别依赖和语言多样性方面存在不足，限制了模型的性能。
  2. 本文提出的基于logits的微调框架，通过结合教师logits与真实标签，构建更丰富的训练目标。
  3. 实验结果显示，该方法在Mawps和TabMWP上分别提升了18%和22.7%的准确率，整体平均提升达7.28%。

📝 摘要（中文）

近年来，开发紧凑高效的大型语言模型（LLMs）成为研究热点。传统的监督微调（SFT）方法依赖单一的真实标签，常常无法捕捉到token级别的依赖关系和语言多样性。为了解决这些问题，本文提出了一种基于logits的微调框架，结合了监督学习和知识蒸馏的优点。该方法通过将教师logits与真实标签结合，构建丰富的训练目标，从而确保更可靠和有效的训练。实验结果表明，该方法在多个数学基准测试中显著提升了模型的准确性。

🔬 方法详解

问题定义：本文旨在解决传统监督微调方法在捕捉语言多样性和token级别依赖方面的不足。现有方法通常依赖单一的真实标签，导致模型性能受限。

核心思路：提出基于logits的微调框架，结合教师模型的logits与真实标签，构建丰富的训练目标，以增强模型的学习能力和语言表达的多样性。

技术框架：整体架构包括数据准备、logits生成、训练目标构建和模型训练四个主要模块。首先构建1.2M的logits数据集，然后通过教师模型生成logits，最后结合真实标签进行训练。

关键创新：最重要的创新在于通过结合教师logits与真实标签，保留了正确性和语言多样性，显著提升了模型的训练效果。与传统方法相比，这种方法在训练目标的丰富性上具有本质区别。

关键设计：在参数设置上，采用了适应性损失函数以平衡logits与真实标签的影响，同时在网络结构上，使用了多层次的注意力机制以增强模型对复杂语言结构的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于logits的微调方法在Mawps和TabMWP上分别实现了18%和22.7%的准确率提升，整体在九个数学基准测试中平均提升达7.28%，显著优于传统的SFT模型。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和自然语言处理等。通过提升大型语言模型的性能，能够更好地支持自动问答、文本生成和数据分析等任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In recent years, developing compact and efficient large language models (LLMs) has emerged as a thriving area of research. Traditional Supervised Fine-Tuning (SFT), which relies on singular ground truth labels, often fails to capture token-level dependencies and linguistic diversity. To address these limitations, we propose a logits-based fine-tuning framework that integrates the strengths of supervised learning and knowledge distillation. Our approach constructs enriched training targets by combining teacher logits with ground truth labels, preserving both correctness and linguistic diversity. This ensures more reliable and effective training. We constructed a large-scale 1.2M logits dataset and trained a series of science-focused models. Experimental results demonstrate that our method achieves significant improvements, with accuracy gains of 18% on Mawps and 22.7% on TabMWP. Across nine widely used mathematical benchmarks, our method consistently outperforms prior SFT models, achieving an average improvement of 7.28%. Codes are available at https://github.com/dvlab-research/Logits-Based-Finetuning.