Delta-Matching: Closing the Final Gap of Native 8-bit Training for LLMs

📄 arXiv: 2609.37852v1 📥 PDF

作者: Haozhan Tang, Hao Kang, Han Cai, Song Han, Chenyan Xiong

分类: cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出Delta-Matching以解决原生8位训练中的FP8注意力问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 FP8训练 增量匹配 深度学习 混合精度训练

📋 核心要点

  1. 现有方法在使用FP8进行大语言模型训练时，存在前向和后向不一致导致的增量失效问题，影响训练效果。
  2. 论文提出Delta-Matching，通过恢复softmax梯度的零行和不变性，解决了FP8训练中的增量失效问题。
  3. 实验结果表明，Delta-Matching在不同架构和规模下的训练损失与BF16/FP32混合精度训练相当，且下游任务性能显著提升。

📝 摘要（中文）

可靠的FP8注意力仍然是完全原生8位大语言模型训练的障碍。本文分析了前向和后向不一致如何导致陈旧的增量，并实证展示其对训练动态的扭曲影响。我们提出Delta-Matching，证明其在给定数值假设下恢复了softmax梯度的零行和不变性，使得在每个前向和后向注意力核心矩阵乘法中实现原生块缩放FP8成为可能。经过测试的架构、规模和训练阶段中，Delta-Matching的损失与BF16/FP32混合精度训练相匹配，整体下游性能也得到了提升。

🔬 方法详解

问题定义：本文旨在解决在原生8位大语言模型训练中，FP8注意力的可靠性不足问题。现有方法在训练过程中，由于前向和后向不一致，导致增量失效，进而影响训练动态和最终性能。

核心思路：论文提出的Delta-Matching方法，通过恢复softmax梯度的零行和不变性，确保在前向和后向计算中保持一致性，从而解决了FP8训练中的增量失效问题。该设计能够在不改变架构或使用辅助输出的情况下，实现原生块缩放FP8。

技术框架：Delta-Matching的整体架构包括前向和后向注意力核心的矩阵乘法，采用了QK归一化和NoPE（无位置编码）等技术，以降低学习率和扩展上下文，从而减缓性能下降。

关键创新：Delta-Matching的核心创新在于其能够在不改变现有模型架构的情况下，恢复softmax梯度的零行和不变性，这一特性使得FP8训练的可靠性显著提高。与现有方法相比，Delta-Matching有效解决了前向和后向不一致的问题。

关键设计：在参数设置上，Delta-Matching采用了较低的学习率和特定的上下文扩展策略，损失函数设计上确保了增量的一致性，网络结构上则保持了与传统模型的兼容性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Delta-Matching在569M参数模型上仅有适度的损失差距，但在1.67B和5.29B参数模型上显著降低了损失增加和下游性能下降。与BF16/FP32混合精度训练相比，Delta-Matching在各测试架构和训练阶段中表现出相当的损失和下游性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大语言模型相关任务。通过提高FP8训练的可靠性，Delta-Matching可以帮助研究人员和工程师在资源受限的环境中训练更高效的语言模型，推动相关技术的实际应用和发展。

📄 摘要（原文）

Reliable FP8 attention remains a barrier to fully native 8-bit large language model training. We derive how forward-backward inconsistencies produce stale delta and empirically show how it distorts training dynamics. Our stale-delta hybrid runs show a modest loss gap at 569M parameters but substantial loss increases and downstream degradation at 1.67B and 5.29B. QK normalization, NoPE (no positional encoding), and lower-learning-rate context extension mitigate or delay degradation without eliminating it. This pattern suggests accumulated optimization error that smaller models and short runs can conceal. We propose Delta-Matching, proving that it restores the softmax gradient's zero-row-sum invariant under the stated numerical assumptions. It enables native block-scaled FP8 in every forward and backward attention-core matmul without architectural changes, smaller global batches, or auxiliary forward outputs. Across tested architectures, scales, and training stages, Delta-Matching matches BF16/FP32 mixed-precision training loss and overall downstream performance. We will release our implementation, trained models, and data recipes.