Strong Model Collapse

📄 arXiv: 2410.04840v2 📥 PDF

作者: Elvis Dohmatob, Yunzhen Feng, Arjun Subramonian, Julia Kempe

分类: cs.LG, stat.ML

发布日期: 2024-10-07 (更新: 2024-10-08)

💡 一句话要点

揭示大规模模型训练中由合成数据引起的强模型崩溃现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型崩溃 合成数据 大规模模型 缩放定律 随机投影

📋 核心要点

  1. 现有大规模模型训练依赖缩放定律，但合成数据可能导致模型性能严重下降，即模型崩溃。
  2. 论文通过理论分析和实验验证，揭示了合成数据比例对模型崩溃的影响，并研究了模型大小的作用。
  3. 实验结果表明，即使少量合成数据也会导致模型崩溃，并且在特定情况下，更大的模型可能会加剧崩溃。

📝 摘要（中文）

在大规模神经网络（如ChatGPT和Llama）训练所依赖的缩放定律范式下，本文研究了监督回归设置，并揭示了一种强模型崩溃现象的存在。这种现象是由训练语料库中的合成数据引起的性能严重下降。研究结果表明，即使是极小比例的合成数据（例如，仅占总训练数据集的1%），也可能导致模型崩溃：增加训练集规模并不能提高性能。此外，本文还探讨了增加模型大小（一种与当前大型语言模型训练趋势一致的方法）是否会加剧或缓解模型崩溃。在一个简化的模型中，神经网络通过可调大小的随机投影来近似，理论和实验均表明，更大的模型可能会放大模型崩溃。有趣的是，理论还表明，超过插值阈值（对于非常大的数据集来说，这个阈值可能非常高），更大的模型可能会缓解崩溃，但不能完全阻止它。理论结果通过语言模型和图像前馈神经网络的实验得到了验证。

🔬 方法详解

问题定义：论文旨在解决大规模模型训练中，由于训练数据集中包含合成数据而导致的模型性能下降问题，即“模型崩溃”现象。现有方法在处理大规模数据集时，往往忽略了合成数据对模型性能的负面影响，导致模型在训练过程中无法有效利用数据，甚至出现性能退化。

核心思路：论文的核心思路是通过理论分析和实验验证，研究合成数据比例和模型大小对模型崩溃的影响。通过建立数学模型，分析合成数据对模型训练过程的影响，并探讨增加模型大小是否能够缓解或加剧模型崩溃。论文还通过实验验证了理论分析的结论。

技术框架：论文的技术框架主要包括以下几个部分：1) 建立监督回归模型，模拟大规模模型训练过程；2) 引入合成数据，研究其对模型性能的影响；3) 使用随机投影近似神经网络，简化模型分析；4) 通过理论分析，推导模型崩溃的条件和影响因素；5) 通过实验验证理论分析的结论。

关键创新：论文最重要的技术创新点在于揭示了合成数据对大规模模型训练的负面影响，并提出了“强模型崩溃”的概念。论文还创新性地分析了模型大小对模型崩溃的影响，发现更大的模型在特定情况下可能会加剧模型崩溃。

关键设计：论文的关键设计包括：1) 使用随机投影近似神经网络，简化模型分析；2) 通过理论分析，推导模型崩溃的条件和影响因素，例如合成数据比例和模型大小；3) 设计实验验证理论分析的结论，包括语言模型和图像分类任务；4) 考察不同模型大小对模型性能的影响。

📊 实验亮点

实验结果表明，即使训练集中仅包含1%的合成数据，也可能导致模型崩溃。此外，在某些情况下，增加模型大小反而会加剧模型崩溃。理论分析表明，超过插值阈值后，更大的模型可能会缓解崩溃，但不能完全阻止。这些发现对大规模模型训练具有重要的指导意义。

🎯 应用场景

该研究成果可应用于大规模语言模型和图像模型的训练优化，帮助开发者更好地理解和控制合成数据对模型性能的影响，从而提高模型的泛化能力和鲁棒性。研究结果对于构建更可靠、更高效的AI系统具有重要意义，尤其是在数据增强和合成数据生成等领域。

📄 摘要（原文）

Within the scaling laws paradigm, which underpins the training of large neural networks like ChatGPT and Llama, we consider a supervised regression setting and establish the existance of a strong form of the model collapse phenomenon, a critical performance degradation due to synthetic data in the training corpus. Our results show that even the smallest fraction of synthetic data (e.g., as little as 1\% of the total training dataset) can still lead to model collapse: larger and larger training sets do not enhance performance. We further investigate whether increasing model size, an approach aligned with current trends in training large language models, exacerbates or mitigates model collapse. In a simplified regime where neural networks are approximated via random projections of tunable size, we both theoretically and empirically show that larger models can amplify model collapse. Interestingly, our theory also indicates that, beyond the interpolation threshold (which can be extremely high for very large datasets), larger models may mitigate the collapse, although they do not entirely prevent it. Our theoretical findings are empirically verified through experiments on language models and feed-forward neural networks for images.