M4LE: A Multi-Ability Multi-Range Multi-Task Multi-Domain Long-Context Evaluation Benchmark for Large Language Models

📄 arXiv: 2310.19240v2 📥 PDF

作者: Wai-Chung Kwan, Xingshan Zeng, Yufei Wang, Yusen Sun, Liangyou Li, Lifeng Shang, Qun Liu, Kam-Fai Wong

分类: cs.CL

发布日期: 2023-10-30 (更新: 2024-07-27)

备注: Code and data are available at https://github.com/KwanWaiChung/M4LE

💡 一句话要点

提出M4LE基准以系统评估大语言模型的长序列能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长序列评估 大语言模型 自然语言处理 能力评估 多任务学习 长上下文理解 自动化方法

📋 核心要点

  1. 现有的评估基准主要集中在短序列任务，缺乏对长序列能力的系统性评估。
  2. 本文提出M4LE基准，通过自动化方法将短序列任务转化为长序列场景，评估多种能力。
  3. 实验表明，当前LLMs在处理长上下文时表现不佳，尤其是在多跨度注意力任务中。

📝 摘要（中文）

随着大语言模型（LLMs）在处理长序列方面的重要性日益增加，如何全面评估其长序列能力仍然是一个开放性问题。现有的基准主要集中在短序列任务上，缺乏对长序列的系统评估。为此，本文提出了M4LE，一个多能力、多范围、多任务、多领域的长上下文评估基准。M4LE基于36个NLP数据集、11种任务类型和12个领域构建，采用自动化方法将短序列任务转换为统一的长序列场景，涵盖五种不同的能力评估。实验结果表明，当前的LLMs在理解长上下文方面存在困难，特别是在需要多跨度注意力的任务中。我们公开了该基准，以促进未来在这一挑战性领域的研究。

🔬 方法详解

问题定义：本文旨在解决大语言模型在长序列任务中的评估不足，现有基准无法有效评估其长上下文理解能力。

核心思路：提出M4LE基准，通过将短序列任务自动转换为长序列场景，涵盖多种能力评估，旨在全面评估LLMs的长序列处理能力。

技术框架：M4LE基准包含36个NLP数据集，11种任务类型和12个领域，设计了五种能力评估类型，包括显式单跨度、语义单跨度、显式多跨度、语义多跨度和全局上下文理解。

关键创新：M4LE的创新在于其自动化转换短序列任务为长序列任务的能力，显著提升了对LLMs长上下文能力的评估，填补了现有基准的空白。

关键设计：样本长度从1k到8k均匀分布，采用极少的人类注释，确保了评估的多样性和广泛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前的LLMs在处理长上下文时表现不佳，尤其是在需要多跨度注意力的任务中。语义检索任务对能力较强的LLMs而言更具挑战性。经过长文本微调的模型与使用神经切线核（NTK）感知缩放方法的模型表现相当，展示了微调的重要性。

🎯 应用场景

M4LE基准的提出为大语言模型的长序列能力评估提供了新的标准，具有广泛的应用潜力。它可以用于模型的性能评估、优化和比较，推动自然语言处理领域的研究进展，特别是在需要处理长文本的应用场景中，如文档理解、信息检索等。

📄 摘要（原文）

Managing long sequences has become an important and necessary feature for large language models (LLMs). However, it is still an open question of how to comprehensively and systematically evaluate the long-sequence capability of LLMs. One of the reasons is that conventional and widely-used benchmarks mainly consist of short sequences. In this paper, we propose M4LE, a Multi-ability, Multi-range, Multi-task, Multi-domain benchmark for Long-context Evaluation. M4LE is based on a diverse NLP task pool comprising 36 NLP datasets, 11 task types and 12 domains. To alleviate the scarcity of tasks with naturally long sequences and incorporate multiple-ability assessment, we propose an automatic approach (but with negligible human annotations) to convert short-sequence tasks into a unified long-sequence scenario where LLMs have to identify single or multiple relevant spans in long contexts based on explicit or semantic hints. Specifically, the scenario includes five different types of abilities: (1) explicit single-span; (2) semantic single-span; (3) explicit multiple-span; (4) semantic multiple-span; and (5) global context understanding. The resulting samples in M4LE are evenly distributed from 1k to 8k input length. We conducted a systematic evaluation on 11 well-established LLMs, especially those optimized for long-sequence inputs. Our results reveal that: 1) Current LLMs struggle to understand long context, particularly when tasks require multiple-span attention. 2) Semantic retrieval task is more difficult for competent LLMs. 3) Models fine-tuned on longer text with position interpolation have comparable performance to those using Neural Tangent Kernel (NTK) aware scaling methods without fine-tuning. We make our benchmark publicly available to encourage future research in this challenging area.