LongIns: A Challenging Long-context Instruction-based Exam for LLMs

📄 arXiv: 2406.17588v3 📥 PDF

作者: Shawn Gavin, Tuney Zheng, Jiaheng Liu, Quehry Que, Noah Wang, Jian Yang, Chenchen Zhang, Wenhao Huang, Ge Zhang

分类: cs.CL

发布日期: 2024-06-25 (更新: 2025-08-13)

💡 一句话要点

LongIns：一个用于评估LLM长文本理解与推理能力的指令型考试基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 大型语言模型 指令学习 推理能力 评估基准

📋 核心要点

  1. 现有基准测试主要考察LLM的检索能力，无法充分评估其在长文本中的推理能力。
  2. LongIns通过构建基于指令的长文本考试，引入三种评估设置，更全面地评估LLM的理解和推理能力。
  3. 实验表明，即使是GPT-4在LongIns的16k上下文窗口下表现不佳，短上下文窗口下的多跳推理仍需努力。

📝 摘要（中文）

近年来，大型语言模型（LLM）的长文本处理能力备受关注。为了评估LLM在不同场景下的性能，涌现了各种评估基准。然而，这些基准大多侧重于识别关键信息以回答问题，主要考察LLM的检索能力，无法充分体现LLM从大量信息中进行推理的能力。同时，尽管LLM通常声称具有32k、128k、200k甚至更长的上下文窗口，但这些基准未能揭示LLM实际支持的长度。为了解决这些问题，我们提出了LongIns基准数据集，这是一个具有挑战性的、基于指令的长文本LLM考试，它建立在现有的指令数据集之上。具体来说，在我们的LongIns中，我们引入了三种评估设置：全局指令和单任务（GIST）、局部指令和单任务（LIST）以及局部指令和多任务（LIMT）。基于LongIns，我们对现有的LLM进行了全面的评估，并有以下重要发现：（1）性能最佳的GPT-4，具有128k的上下文长度，在我们的LongIns中，16k的评估上下文窗口下表现不佳。（2）对于许多现有LLM的多跳推理能力，在短上下文窗口（小于4k）下仍然需要大量的努力。

🔬 方法详解

问题定义：现有的大语言模型（LLM）评估基准主要关注模型的信息检索能力，而忽略了其在长文本上下文中进行复杂推理的能力。此外，现有基准难以有效评估LLM声称的长上下文窗口的真实性能，无法准确反映模型在处理长文本时的实际能力。

核心思路：LongIns的核心思路是构建一个基于指令的长文本考试基准，通过引入不同类型的指令和任务设置，来更全面地评估LLM在长文本中的理解和推理能力。这种设计旨在模拟真实场景中LLM需要处理长篇文档并根据指令完成任务的情况。

技术框架：LongIns的整体框架包括以下几个主要组成部分：1) 基于现有指令数据集构建长文本考试；2) 定义三种评估设置：全局指令和单任务（GIST）、局部指令和单任务（LIST）以及局部指令和多任务（LIMT）；3) 使用LongIns对现有LLM进行评估，并分析其在不同设置下的性能表现。

关键创新：LongIns的关键创新在于其评估方式，它不仅仅关注LLM的信息检索能力，更侧重于评估其在长文本上下文中进行复杂推理的能力。通过引入不同类型的指令和任务设置，LongIns能够更全面地评估LLM的长文本处理能力。与现有基准相比，LongIns更具挑战性，能够更有效地揭示LLM在长文本处理方面的不足。

关键设计：LongIns的关键设计包括：1) 三种评估设置的设计，GIST考察全局信息理解能力，LIST考察局部信息理解能力，LIMT考察多任务处理能力；2) 长文本的构建方式，如何将现有指令数据集扩展为长文本考试；3) 评估指标的选择，如何量化LLM在不同设置下的性能表现。具体参数设置和损失函数等细节在论文中可能未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是具有128k上下文长度的GPT-4，在LongIns的16k上下文窗口下表现也不佳，这表明现有LLM在长文本处理方面仍有很大的提升空间。此外，实验还发现，许多现有LLM在短上下文窗口下的多跳推理能力仍然不足，需要进一步改进。

🎯 应用场景

LongIns基准数据集可用于评估和比较不同LLM的长文本理解和推理能力，帮助研究人员更好地了解LLM的优势和局限性。此外，该基准还可以用于指导LLM的训练和优化，提高其在长文本处理方面的性能。未来，LongIns可以扩展到更多领域，例如法律、金融和医疗等，以评估LLM在特定领域的长文本处理能力。

📄 摘要（原文）

The long-context capabilities of large language models (LLMs) have been a hot topic in recent years. To evaluate the performance of LLMs in different scenarios, various assessment benchmarks have emerged. However, as most of these benchmarks focus on identifying key information to answer questions, which mainly requires the retrieval ability of LLMs, these benchmarks can partially represent the reasoning performance of LLMs from large amounts of information. Meanwhile, although LLMs often claim to have context windows of 32k, 128k, 200k, or even longer, these benchmarks fail to reveal the actual supported length of these LLMs. To address these issues, we propose the LongIns benchmark dataset, a challenging long-context instruction-based exam for LLMs, which is built based on the existing instruction datasets. Specifically, in our LongIns, we introduce three evaluation settings: Global Instruction & Single Task (GIST), Local Instruction & Single Task (LIST), and Local Instruction & Multiple Tasks (LIMT). Based on LongIns, we perform comprehensive evaluations on existing LLMs and have the following important findings: (1). The top-performing GPT-4 with 128k context length performs poorly on the evaluation context window of 16k in our LongIns. (2). For the multi-hop reasoning ability of many existing LLMs, significant efforts are still needed under short context windows (less than 4k).