Rethinking the Role of Text Complexity in Language Model Pretraining

📄 arXiv: 2509.16551v2 📥 PDF

作者: Dan John Velasco, Matthew Theodore Roque

分类: cs.CL, cs.AI

发布日期: 2025-09-20 (更新: 2025-10-04)

备注: Camera-ready version for BabyLM Workshop at EMNLP 2025

💡 一句话要点

研究文本复杂度对语言模型预训练的影响，揭示数据多样性与下游任务性能间的关系。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型预训练 文本复杂度 数据多样性 零样本学习 微调 知识迁移 因果语言模型

📋 核心要点

  1. 现有研究较少关注预训练数据中文本复杂度的影响，而高质量和大规模的数据被认为是提升下游任务性能的关键。
  2. 该研究通过简化文本的表面复杂度（如句子长度、词汇难度和结构），同时保持核心内容不变，来研究文本复杂度的作用。
  3. 实验表明，文本复杂度对微调影响较小，但对零样本学习有显著影响，简单文本利于语言知识，复杂文本利于世界知识。

📝 摘要（中文）

该研究探讨了文本复杂度在语言模型预训练中的作用。通过使用大型语言模型简化文本，并在不同复杂度的文本上从头预训练不同规模的因果语言模型（28M-500M），研究人员评估了模型在微调和零样本设置下的表现。结果表明，困惑度受模型容量和文本复杂度交互影响，小模型在简单文本上的性能下降较少。文本复杂度对微调影响不大，但在零样本评估中，简单文本有利于语言知识任务，复杂文本则有利于世界知识和实体跟踪任务。研究结果表明，不同类型的数据多样性对迁移学习和零样本性能有不同影响，为针对特定目标的数据管理提供了见解。

🔬 方法详解

问题定义：论文旨在研究预训练数据中文本复杂度对语言模型性能的影响。现有研究主要关注数据规模和质量，而忽略了文本复杂度这一重要因素。现有方法缺乏对文本复杂度与模型性能之间关系的深入理解，无法指导数据选择和预处理，从而影响下游任务的表现。

核心思路：论文的核心思路是通过控制预训练数据的文本复杂度，观察其对不同规模语言模型在微调和零样本学习中的影响。通过简化文本的表面特征，同时保持核心语义不变，来探究模型在不同复杂度数据上的学习能力，并分析其对不同类型下游任务的影响。

技术框架：整体流程包括：1) 使用大型语言模型简化原始文本；2) 在原始文本和简化文本上分别预训练不同规模的因果语言模型（28M-500M）；3) 在微调设置下，评估模型在下游任务上的性能；4) 在零样本设置下，评估模型在不同类型的知识任务上的表现。

关键创新：该研究的关键创新在于系统性地研究了文本复杂度对语言模型预训练的影响，并揭示了文本复杂度与模型容量、下游任务类型之间的复杂关系。通过对比在不同复杂度数据上预训练的模型，发现文本复杂度对微调和零样本学习的影响不同，为数据选择和模型训练提供了新的视角。

关键设计：论文的关键设计包括：1) 使用大型语言模型进行文本简化，保证简化后的文本在语义上与原始文本一致；2) 预训练不同规模的语言模型，以研究模型容量对文本复杂度影响的调节作用；3) 在微调和零样本设置下，评估模型在不同类型的下游任务上的表现，以分析文本复杂度对不同类型知识学习的影响。

📊 实验亮点

实验结果表明，文本复杂度对困惑度有显著影响，小模型在简单文本上的困惑度下降较少。在零样本学习中，简单文本有利于语言知识任务，复杂文本有利于世界知识和实体跟踪任务。微调结果显示文本复杂度影响较小，表明模型可以通过微调适应不同复杂度的文本。

🎯 应用场景

该研究成果可应用于语言模型预训练的数据选择和预处理。通过了解文本复杂度对模型性能的影响，可以针对特定下游任务选择合适的预训练数据，提高模型在特定领域的表现。此外，该研究还可以指导教育领域的文本生成，例如生成适合不同年龄段学生的阅读材料。

📄 摘要（原文）

Improving pretraining data quality and size is known to boost downstream performance, but the role of text complexity--how hard a text is to read--remains less explored. We reduce surface-level complexity (shorter sentences, simpler words, simpler structure) while keeping core content approximately constant and ask: (i) How does complexity affect language modeling across model sizes? (ii) Can useful representations be learned from simpler text alone? (iii) How does pretraining text complexity influence downstream language understanding? We simplify human-written texts using a large language model, pretrain causal models (28M-500M) from scratch on original vs. simplified data, and evaluate them in fine-tuning and zero-shot setups. We find that perplexity is sensitive to the interaction between model capacity and text complexity--smaller models degrade far less on simpler texts--while text complexity has little impact on fine-tuning evaluations, with zero-shot evaluations indicating that simpler texts benefit performance on linguistic knowledge tasks, whereas more complex texts favor tasks requiring world knowledge and entity tracking. Our findings suggest that different types of data diversity affect transfer and zero-shot performance differently, providing insight into tailoring data curation to specific goals.