Understanding Data Temporality Impact on Large Language Models Pre-training

📄 arXiv: 2605.22769v1 📥 PDF

作者: Pilchen Hippolyte, Fabre Romain, Signe Talla Franck, Perez Patrick, Grave Edouard

分类: cs.CL, cs.AI

发布日期: 2026-05-21

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

研究数据时序性对大语言模型预训练的影响，提出时序知识评估基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 预训练 时间感知 知识时序性 持续学习

📋 核心要点

  1. 现有LLM在打乱的数据上训练，时间感知能力不足，无法有效处理时间敏感的事实知识。
  2. 提出按时间顺序预训练LLM，旨在提升模型对事实知识的时间精确性和新鲜度。
  3. 实验结果表明，时序预训练模型在时间感知方面优于乱序预训练模型，且通用能力相当。

📝 摘要（中文）

大型语言模型（LLM）通常在打乱的语料库上进行训练，导致模型的知识在训练时被冻结，并且其时间基础仍然知之甚少。本文研究了预训练动态对时间敏感的事实知识获取的影响，特别关注数据排序。我们的主要贡献有两方面。首先，我们引入了一个包含7000多个时间基础问题的综合基准和一个评估协议，该协议能够分析模型是否正确地将事实与其对应的时间段相关联。其次，我们在按时间顺序排列的Common Crawl快照上预训练了60亿参数的模型，并将它们与标准的打乱预训练进行比较。结果表明，按顺序训练的模型在通用语言理解和常识方面与打乱的基线相匹配，同时始终表现出更最新和时间上更精确的知识。按时间顺序排列的预训练可以提高事实的新鲜度，而打乱的预训练可能由于事实重复的增加而在较旧的数据上达到峰值。这些发现，以及我们在https://github.com/kyutai-labs/kairos 上发布的我们的代码、检查点和数据集，为LLM的持续学习的未来研究奠定了基础。

🔬 方法详解

问题定义：现有的大型语言模型通常在经过随机打乱的语料库上进行训练，这导致模型在训练完成后，其知识就被“冻结”在了训练时的时间点。因此，这些模型难以处理需要时间敏感性的事实性知识，例如“当前在任的美国总统是谁？”。现有方法的痛点在于缺乏对数据时序性的考虑，导致模型无法准确地将事实与对应的时间段关联起来。

核心思路：本文的核心思路是利用时间顺序排列的数据进行预训练，从而使模型能够学习到事实随时间变化的规律。通过让模型接触到按时间顺序排列的Common Crawl快照，模型可以更好地理解和记忆事实发生的时间，从而提高其时间感知能力。

技术框架：该研究的技术框架主要包括以下几个部分：1)构建一个包含7000多个时间基础问题的综合基准，用于评估模型的时间感知能力。2)设计一个评估协议，用于分析模型是否能够正确地将事实与其对应的时间段相关联。3)使用按时间顺序排列的Common Crawl快照预训练60亿参数的语言模型。4)将按时间顺序训练的模型与标准的打乱预训练模型进行比较，评估其在通用语言理解、常识和时间感知能力方面的表现。

关键创新：该研究最重要的技术创新点在于提出了按时间顺序进行预训练的方法，并构建了一个用于评估模型时间感知能力的综合基准。与传统的打乱预训练方法相比，按时间顺序的预训练能够使模型更好地学习到事实随时间变化的规律，从而提高其时间感知能力。

关键设计：在预训练过程中，使用了Common Crawl的快照数据，并按照时间顺序进行排列。模型的参数规模为60亿。在评估过程中，使用了新构建的包含7000多个时间基础问题的基准。具体的损失函数和网络结构等技术细节未在摘要中详细说明，需要在论文正文中查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，按时间顺序训练的模型在通用语言理解和常识方面与打乱的基线相匹配，同时始终表现出更最新和时间上更精确的知识。时序预训练提升了事实的新鲜度，而乱序预训练在旧数据上表现更好，这可能归因于事实重复。

🎯 应用场景

该研究成果可应用于需要时间敏感信息的问答系统、新闻摘要生成、历史事件分析等领域。通过提升语言模型的时间感知能力，可以使其在处理涉及时间因素的任务时更加准确和可靠。未来，该方法有望应用于构建更智能、更具实用性的AI系统。

📄 摘要（原文）

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.