OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text
作者: Keiran Paster, Marco Dos Santos, Zhangir Azerbayev, Jimmy Ba
分类: cs.AI, cs.CL, cs.LG
发布日期: 2023-10-10
💡 一句话要点
提出OpenWebMath数据集以提升大语言模型的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数学文本 数据集 大语言模型 推理能力 预训练 质量过滤 去重
📋 核心要点
- 现有的开源网络数据集在数学符号的预处理上存在不足，无法有效支持大语言模型的推理能力提升。
- 论文提出OpenWebMath数据集，包含147亿个数学网页标记，采用精确的文本和LaTeX提取方法，解决了现有数据集的局限性。
- 通过在OpenWebMath上训练1.4B参数的语言模型，实验结果显示该模型在定量推理任务上超越了使用20倍通用数据训练的模型。
📝 摘要（中文）
随着对高质量数学文本预训练的重要性认识的加深，OpenWebMath数据集应运而生。该数据集包含来自Common Crawl的147亿个数学网页的标记，旨在解决现有开源数据集中数学符号处理不当的问题。通过详细的文本和LaTeX内容提取方法，以及质量过滤和去重技术，OpenWebMath为研究社区提供了一个高质量的数学数据源。实验表明，基于该数据集训练的模型在定量推理任务上表现优于使用20倍通用语言数据训练的模型。
🔬 方法详解
问题定义：论文旨在解决现有开源数据集中数学符号处理不当的问题，导致大语言模型在定量推理任务上的性能受限。
核心思路：通过构建OpenWebMath数据集，提供高质量的数学网页标记，确保数学符号的准确性和完整性，从而提升模型的推理能力。
技术框架：整体流程包括从Common Crawl中提取数学网页，进行文本和LaTeX内容的提取，去除HTML文档中的冗余信息，最后进行质量过滤和去重。
关键创新：OpenWebMath的最大创新在于其对数学符号的精确处理和高质量数据的提供，这与现有方法在数据预处理上的不足形成鲜明对比。
关键设计：在数据提取过程中，采用了特定的算法来识别和保留数学公式，同时设置了严格的质量标准以确保数据的可靠性和有效性。实验中使用的损失函数和网络结构经过优化，以适应数学内容的特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于OpenWebMath数据集训练的模型在定量推理任务上表现优于使用20倍通用语言数据训练的模型，具体提升幅度显著，验证了该数据集在提升大语言模型推理能力方面的有效性。
🎯 应用场景
OpenWebMath数据集的潜在应用领域包括教育、科学计算和自然语言处理等。它可以帮助研究人员和开发者在数学推理、问题求解等任务中提升模型的性能，推动相关领域的研究进展。未来，该数据集可能成为数学相关AI应用的基础数据源，促进更高效的学习和推理能力的开发。
📄 摘要（原文）
There is growing evidence that pretraining on high quality, carefully thought-out tokens such as code or mathematics plays an important role in improving the reasoning abilities of large language models. For example, Minerva, a PaLM model finetuned on billions of tokens of mathematical documents from arXiv and the web, reported dramatically improved performance on problems that require quantitative reasoning. However, because all known open source web datasets employ preprocessing that does not faithfully preserve mathematical notation, the benefits of large scale training on quantitive web documents are unavailable to the research community. We introduce OpenWebMath, an open dataset inspired by these works containing 14.7B tokens of mathematical webpages from Common Crawl. We describe in detail our method for extracting text and LaTeX content and removing boilerplate from HTML documents, as well as our methods for quality filtering and deduplication. Additionally, we run small-scale experiments by training 1.4B parameter language models on OpenWebMath, showing that models trained on 14.7B tokens of our dataset surpass the performance of models trained on over 20x the amount of general language data. We hope that our dataset, openly released on the Hugging Face Hub, will help spur advances in the reasoning abilities of large language models.