MiLe Loss: a New Entropy-Weighed Loss for Mitigating the Bias of Learning Difficulties in Large Language Models

📄 arXiv: 2310.19531v8 📥 PDF

作者: Zhenpeng Su, Xing Wu, Xue Bai, Zijia Lin, Hui Chen, Guiguang Ding, Wei Zhou, Songlin Hu

分类: cs.CL

发布日期: 2023-10-30 (更新: 2026-01-15)

备注: This paper has been accepted by NAACL 2024

💡 一句话要点

提出MiLe Loss以解决语言模型学习困难的偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成语言模型 损失函数 学习困难 信息熵 自然语言处理

📋 核心要点

  1. 现有生成语言模型在训练中忽视了频繁标记与不频繁标记之间的失衡，导致模型偏向于学习常见标记。
  2. 本文提出的MiLe Loss通过动态评估标记的学习难度，适应性地调整损失，帮助模型关注难以学习的标记。
  3. 在Pile数据集上，采用MiLe Loss的模型在不同参数规模下均实现了下游任务的性能提升。

📝 摘要（中文）

生成语言模型通常通过预测下一个标记（如子词、单词或短语）来进行预训练。然而，现有模型在训练过程中忽视了文本语料中的一个内在挑战，即频繁标记与不频繁标记之间的失衡。这种失衡可能导致模型过于关注常见且易于学习的标记，从而忽略不频繁且难以学习的标记。为此，本文提出了一种MiLe Loss损失函数，通过动态评估待学习标记的学习难度，依据其对应的预测概率分布的信息熵，适应性地调整训练损失，促使模型更加关注难以学习的标记。在Pile数据集上，我们对不同规模的生成语言模型进行了训练，实验结果表明，采用MiLe Loss的模型在下游基准测试中表现出一致的性能提升。

🔬 方法详解

问题定义：本文旨在解决生成语言模型在训练过程中对频繁标记的偏向，导致不频繁标记的学习困难。现有方法未能有效处理这种失衡，影响了模型的全面学习能力。

核心思路：提出MiLe Loss损失函数，通过动态评估每个标记的学习难度，依据其预测概率分布的信息熵，适应性地调整损失值，从而引导模型更多关注难以学习的标记。

技术框架：整体架构包括数据预处理、模型训练和损失计算三个主要模块。在训练过程中，模型根据当前标记的学习难度动态调整损失，确保难标记获得更多关注。

关键创新：MiLe Loss的核心创新在于其动态调整机制，能够实时评估标记的学习难度，与传统静态损失函数相比，显著提升了模型对不频繁标记的学习能力。

关键设计：在损失函数设计中，MiLe Loss依据信息熵计算每个标记的学习难度，并通过加权机制调整损失值。此外，模型在不同参数规模下的训练策略也经过精心设计，以确保效果的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用MiLe Loss的模型在不同规模（468M、1.2B和6.7B参数）的训练中，均在下游基准测试中实现了显著的性能提升，具体提升幅度未知，显示出该方法的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过改善模型对难标记的学习能力，MiLe Loss有助于提升生成语言模型在复杂任务中的表现，推动智能对话和自动内容生成等领域的发展。

📄 摘要（原文）

Generative language models are usually pretrained on large text corpus via predicting the next token (i.e., sub-word/word/phrase) given the previous ones. Recent works have demonstrated the impressive performance of large generative language models on downstream tasks. However, existing generative language models generally neglect an inherent challenge in text corpus during training, i.e., the imbalance between frequent tokens and infrequent ones. It can lead a language model to be dominated by common and easy-to-learn tokens, thereby overlooking the infrequent and difficult-to-learn ones. To alleviate that, we propose a MiLe Loss function for mitigating the bias of learning difficulties with tokens. During training, it can dynamically assess the learning difficulty of a to-be-learned token, according to the information entropy of the corresponding predicted probability distribution over the vocabulary. Then it scales the training loss adaptively, trying to lead the model to focus more on the difficult-to-learn tokens. On the Pile dataset, we train generative language models at different scales of 468M, 1.2B, and 6.7B parameters. Experiments reveal that models incorporating the proposed MiLe Loss can gain consistent performance improvement on downstream benchmarks.