Sequential-NIAH: A Needle-In-A-Haystack Benchmark for Extracting Sequential Needles from Long Contexts

📄 arXiv: 2504.04713v3 📥 PDF

作者: Yifei Yu, Qian-Wen Zhang, Lingfeng Qiao, Di Yin, Fang Li, Jie Wang, Zengxi Chen, Suncong Zheng, Xiaolong Liang, Xing Sun

分类: cs.CL, cs.IR

发布日期: 2025-04-07 (更新: 2025-09-20)

💡 一句话要点

提出Sequential-NIAH基准，评估LLM从长文本中提取序列信息的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 序列信息提取 大型语言模型 基准测试 信息检索

📋 核心要点

  1. 现有LLM在处理长文本时，难以准确提取查询相关的序列信息，面临长文本信息提取的挑战。
  2. Sequential-NIAH基准通过构建合成、真实时间及逻辑顺序的针，评估LLM在长文本中提取序列信息的能力。
  3. 实验表明，现有LLM在Sequential-NIAH基准上表现不佳，最高准确率仅为63.50%，表明仍有提升空间。

📝 摘要（中文）

本文提出了Sequential-NIAH，一个专门用于评估大型语言模型（LLMs）从长上下文中提取序列信息项（称为“针”）能力的基准。该基准包括三个针生成流程：合成时间顺序、真实时间顺序和真实逻辑顺序，上下文长度范围从8K到128K，包含14,000个样本（2,000个用于测试）。为了方便评估，我们训练了一个评估模型，通过比较LLM响应的完整性和序列一致性与真实情况来评估其正确性，这提供了比GPT-4或Claude更可靠的评估指标。对六个知名LLM的实验表明，即使是性能最佳的模型在该基准测试集的测试集上，最高准确率也仅为63.50%。进一步的分析突出了增加上下文长度或针的数量所带来的日益严峻的挑战，表明LLM仍有很大的改进空间。此外，噪声分析验证了基准的可靠性和挑战性，使Sequential-NIAH成为推进LLM长文本信息提取能力研究的重要参考。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在长文本上下文中提取序列信息（“针”）的难题。现有的方法在处理长文本时，往往难以准确地定位和提取这些序列信息，尤其是在上下文长度增加或需要提取的“针”的数量增加时，性能会显著下降。这限制了LLMs在需要处理大量信息的实际应用中的能力。

核心思路：论文的核心思路是构建一个专门的基准测试集Sequential-NIAH，用于系统地评估LLMs从长文本中提取序列信息的能力。通过设计不同的“针”生成流程（合成时间顺序、真实时间顺序和真实逻辑顺序），并结合不同长度的上下文，来全面考察LLMs在各种场景下的表现。同时，论文还训练了一个评估模型，用于更准确地评估LLM的输出结果。

技术框架：Sequential-NIAH基准测试集包含以下几个关键组成部分：1) 三种“针”生成流程，用于模拟不同的序列信息提取场景；2) 上下文生成模块，用于生成不同长度（8K到128K）的文本上下文；3) 评估模型，用于评估LLM输出的完整性和序列一致性。整个流程首先通过“针”生成流程生成需要提取的序列信息，然后将其嵌入到生成的长文本上下文中，最后使用评估模型来评估LLM的提取结果。

关键创新：该论文的关键创新在于提出了一个专门针对序列信息提取的基准测试集Sequential-NIAH。与以往的基准测试集相比，Sequential-NIAH更加关注LLMs在长文本中提取序列信息的能力，并提供了多种“针”生成流程，可以更全面地评估LLMs的性能。此外，论文还训练了一个评估模型，可以更准确地评估LLM的输出结果，避免了人工评估的主观性。

关键设计：在“针”生成流程方面，论文设计了合成时间顺序、真实时间顺序和真实逻辑顺序三种方式，以模拟不同的序列信息提取场景。在上下文生成方面，论文采用了随机文本生成的方式，并控制了上下文的长度。在评估模型方面，论文采用了监督学习的方式，使用人工标注的数据进行训练，并使用了完整性和序列一致性作为评估指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是性能最佳的LLM在Sequential-NIAH基准测试集的测试集上，最高准确率也仅为63.50%。随着上下文长度或需要提取的“针”的数量增加，LLM的性能会显著下降。这表明现有LLM在长文本序列信息提取方面仍有很大的改进空间。噪声分析验证了基准的可靠性和挑战性。

🎯 应用场景

Sequential-NIAH基准测试集可用于评估和改进LLM在信息检索、知识图谱构建、文档摘要、问答系统等领域的应用。通过该基准，研究人员可以更好地了解LLM在处理长文本和提取序列信息方面的能力，并开发出更有效的模型和算法，从而提升LLM在实际应用中的性能。

📄 摘要（原文）

Evaluating the ability of large language models (LLMs) to process lengthy contexts is critical, especially for retrieving query-relevant information embedded within them. We introduce Sequential-NIAH, a benchmark specifically designed to evaluate the capability of LLMs to extract sequential information items (known as \emph{needles}) from long contexts. The benchmark includes three needle generation pipelines: synthetic-temporal, real-temporal, and real-logical orders, with context lengths ranging from 8K to 128K, which comprises 14,000 samples (2,000 for testing). To facilitate the evaluation of this benchmark, we trained an evaluation model that assesses the correctness of LLM responses by comparing their completeness and sequential consistency against the ground truth, which provides a more reliable evaluation metric than GPT-4 or Claude. We conducted experiments on six well-known LLMs, revealing that even the best-performing model achieved a maximum accuracy of only 63.50% on test set of this benchmark. Further analysis highlights the growing challenges posed by increasing the context length or the number of needles, underscoring substantial room for improvement of LLMs. Additionally, noise analysis validates the reliability and challenge of the benchmark, making Sequential-NIAH an important reference for advancing research on long text information extraction capabilities of LLMs.