Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries

📄 arXiv: 2409.12640v2 📥 PDF

作者: Kiran Vodrahalli, Santiago Ontanon, Nilesh Tripuraneni, Kelvin Xu, Sanil Jain, Rakesh Shivanna, Jeffrey Hui, Nishanth Dikkala, Mehran Kazemi, Bahare Fatemi, Rohan Anil, Ethan Dyer, Siamak Shakeri, Roopali Vij, Harsh Mehta, Vinay Ramasesh, Quoc Le, Ed Chi, Yifeng Lu, Orhan Firat, Angeliki Lazaridou, Jean-Baptiste Lespiau, Nithya Attaluri, Kate Olszewska

分类: cs.CL, cs.LG

发布日期: 2024-09-19 (更新: 2024-09-20)

💡 一句话要点

提出Michelangelo，通过潜在结构查询评估长文本语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 语言模型评估 潜在结构查询 推理能力 上下文学习

📋 核心要点

  1. 现有长文本评估方法难以区分模型是真正理解上下文，还是仅仅检索信息。
  2. 论文提出潜在结构查询（LSQ）框架，通过构造需要模型“剔除”不相关信息的任务来评估推理能力。
  3. 实验表明，提出的评估方法能有效区分模型能力，并揭示现有模型在长文本信息合成方面仍有提升空间。

📝 摘要（中文）

我们介绍了Michelangelo：一个最小的、合成的、未泄露的长文本推理评估基准，用于评估大型语言模型，并且易于自动评分。该评估源于一个新颖的、统一的框架，用于评估任意长度的上下文，该框架衡量模型从上下文中检索单个信息片段之外的能力。潜在结构查询（LSQ）框架的核心思想是构建需要模型“剔除”上下文中不相关信息的任务，从而揭示上下文中的潜在结构。为了验证模型对这种潜在结构的理解，我们查询模型以获取结构的细节。使用LSQ，我们生成了三个跨代码和自然语言领域的诊断性长文本评估，旨在提供更强的长文本语言模型能力信号。我们对几种最先进的模型进行了评估，并证明了a) 所提出的评估具有高信号，并且b) 在合成长文本信息方面仍有很大的改进空间。

🔬 方法详解

问题定义：现有长文本语言模型评估方法主要集中在检索单个信息片段的能力，难以评估模型对整个上下文的理解和推理能力。现有的评估方法容易被简单的检索策略所欺骗，无法真正衡量模型在长文本中进行复杂推理的能力。

核心思路：论文的核心思路是通过设计一种新的评估框架，即潜在结构查询（LSQ），来迫使模型从长文本上下文中提取关键信息，并理解这些信息之间的关系。通过要求模型“剔除”不相关信息，从而揭示隐藏在上下文中的潜在结构，进而评估模型的推理能力。

技术框架：LSQ框架包含以下几个关键步骤：1) 构建包含潜在结构的长文本上下文；2) 设计需要模型“剔除”不相关信息的任务，以揭示潜在结构；3) 提出针对潜在结构的查询，以验证模型是否理解了该结构。该框架可以应用于不同的领域，如代码和自然语言。

关键创新：LSQ框架的关键创新在于它不仅仅评估模型检索信息的能力，更重要的是评估模型理解和推理长文本上下文的能力。通过要求模型揭示潜在结构，可以更有效地评估模型在长文本中进行复杂推理的能力。与传统的检索式评估方法相比，LSQ框架能够提供更强的信号，从而更准确地评估长文本语言模型的能力。

关键设计：具体任务的设计需要根据不同的领域和潜在结构进行调整。例如，在代码领域，可以构建包含多个函数定义的上下文，其中只有部分函数是相关的，模型需要识别并理解这些相关函数之间的调用关系。在自然语言领域，可以构建包含多个段落的上下文，其中只有部分段落是相关的，模型需要识别并理解这些相关段落之间的逻辑关系。查询的设计也需要与潜在结构相对应，例如，可以查询模型关于潜在结构的关键属性或关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的评估方法（LSQ）在多个最先进的模型上进行了测试，结果表明该方法能够有效区分模型在长文本推理方面的能力差异。实验结果还表明，即使是最先进的模型在长文本信息合成方面仍有很大的提升空间，这为未来的研究指明了方向。

🎯 应用场景

该研究成果可应用于评估和改进长文本语言模型，使其更好地应用于需要复杂推理的场景，例如长篇文档摘要、代码理解与生成、复杂问题解答等。通过更准确地评估模型能力，可以推动长文本语言模型在实际应用中的发展。

📄 摘要（原文）

We introduce Michelangelo: a minimal, synthetic, and unleaked long-context reasoning evaluation for large language models which is also easy to automatically score. This evaluation is derived via a novel, unifying framework for evaluations over arbitrarily long contexts which measure the model's ability to do more than retrieve a single piece of information from its context. The central idea of the Latent Structure Queries framework (LSQ) is to construct tasks which require a model to ``chisel away'' the irrelevant information in the context, revealing a latent structure in the context. To verify a model's understanding of this latent structure, we query the model for details of the structure. Using LSQ, we produce three diagnostic long-context evaluations across code and natural-language domains intended to provide a stronger signal of long-context language model capabilities. We perform evaluations on several state-of-the-art models and demonstrate both that a) the proposed evaluations are high-signal and b) that there is significant room for improvement in synthesizing long-context information.