Time Awareness in Large Language Models: Benchmarking Fact Recall Across Time
作者: David Herel, Vojtech Bartek, Jiri Jirak, Tomas Mikolov
分类: cs.CL, cs.AI
发布日期: 2024-09-20 (更新: 2025-05-15)
💡 一句话要点
提出TimeShift基准测试，评估大语言模型在时间维度上的事实回忆能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 时间推理 知识回忆 基准测试 时间感知
📋 核心要点
- 现有大语言模型在推理任务中忽略了时间维度，导致在需要时间背景的场景下表现不佳。
- 提出TimeShift基准测试，包含带时间戳的事件数据，用于系统评估模型的时间推理能力。
- 实验表明，指令调优和合成数据训练的模型在时间敏感任务上可能不如基础模型，且模型对释义事实的处理存在脆弱性。
📝 摘要（中文）
本文提出了一种新的框架和数据集，用于评估大语言模型（LLMs）在时间维度上的事实回忆能力。该数据集包含2018年至2024年间的8000多个事件，涵盖政治、科学和商业等领域，并标注了精确到天的信息。提出的TimeShift评估方法系统地测试LLMs的时间推理能力，结果表明，基础模型在时间敏感的回忆任务上通常优于指令调优和合成数据训练的模型。此外，即使是大型模型在处理释义后的事实时也表现出脆弱性，突显了时间一致性方面尚未解决的挑战。通过识别这些局限性，本文为推进能够适应现实世界知识动态变化的时间感知语言模型迈出了重要一步。
🔬 方法详解
问题定义：论文旨在解决大语言模型在时间维度上的知识回忆问题。现有的大语言模型在回答问题时，往往忽略了时间信息的重要性，导致在需要时间背景知识的任务中表现不佳。例如，询问“谁是美国总统？”的答案会随着时间的变化而变化。现有方法缺乏对模型时间推理能力的有效评估和提升。
核心思路：论文的核心思路是构建一个包含时间信息的基准数据集，并设计相应的评估方法，以系统地测试大语言模型在时间维度上的知识回忆能力。通过分析模型的表现，可以发现模型在时间推理方面的不足，并为未来的研究提供指导。
技术框架：TimeShift评估框架主要包含以下几个部分：1)构建包含时间戳的事件数据集，涵盖多个领域；2)设计基于时间信息的问答对，用于测试模型的时间推理能力；3)使用不同的模型进行实验，并分析结果；4)评估模型在处理释义事实时的表现。
关键创新：该论文的关键创新在于提出了一个专门用于评估大语言模型时间推理能力的基准测试TimeShift。该基准测试包含大量带有时间戳的事件数据，涵盖多个领域，并且设计了相应的评估方法，可以系统地测试模型在时间维度上的知识回忆能力。与现有方法相比，TimeShift更加关注模型的时间推理能力，可以更全面地评估模型的性能。
关键设计：TimeShift数据集包含2018年至2024年间的8000多个事件，涵盖政治、科学和商业等领域，并标注了精确到天的信息。评估方法包括测试模型在不同时间点对同一问题的回答是否一致，以及模型在处理释义事实时的表现。论文还分析了不同类型的模型在TimeShift上的表现，包括基础模型、指令调优模型和合成数据训练模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基础模型在TimeShift基准测试上的表现通常优于指令调优和合成数据训练的模型，这表明过度优化可能会损害模型的时间推理能力。此外，即使是大型模型在处理释义后的事实时也表现出脆弱性，这表明模型在时间一致性方面仍有很大的提升空间。例如，某些模型在回答“谁是美国总统？”时，即使给出正确答案，但在被问及“谁是现任美国总统？”时，却无法保持一致。
🎯 应用场景
该研究成果可应用于需要时间敏感信息的问答系统、新闻摘要生成、历史事件分析等领域。通过提高大语言模型的时间感知能力，可以使其在处理现实世界问题时更加准确和可靠，例如，在金融领域预测股票走势，或在医疗领域辅助诊断疾病。
📄 摘要（原文）
Who is the US President? The answer changes depending on when the question is asked. While large language models (LLMs) are evaluated on various reasoning tasks, they often miss a crucial dimension: time. In real-world scenarios, the correctness of answers is frequently tied to temporal context. To address this gap, we present a novel framework and dataset spanning over 8,000 events from 2018 to 2024, annotated with day-level granularity and sourced globally across domains such as politics, science, and business. Our TimeShift evaluation method systematically probes LLMs for temporal reasoning, revealing that base models often outperform instruction-tuned and synthetic-trained counterparts on time-sensitive recall. Additionally, we find that even large-scale models exhibit brittleness in handling paraphrased facts, highlighting unresolved challenges in temporal consistency. By identifying these limitations, our work provides a significant step toward advancing time-aware language models capable of adapting to the dynamic nature of real-world knowledge.