BooookScore: A systematic exploration of book-length summarization in the era of LLMs

📄 arXiv: 2310.00785v4 📥 PDF

作者: Yapei Chang, Kyle Lo, Tanya Goyal, Mohit Iyyer

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-01 (更新: 2024-04-13)

备注: ICLR 2024 camera-ready (updated figure1 and table2; corrected minor details in the explanation of hierarchical merging)

💡 一句话要点

提出BooookScore以解决书籍摘要生成中的一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 书籍摘要 大语言模型 自动评估 一致性问题 增量更新 层次合并 BooookScore 文本处理

📋 核心要点

  1. 现有的书籍摘要生成方法在处理超长文本时面临一致性和评估困难，尤其是现有数据集的局限性。
  2. 论文提出了两种提示工作流：层次合并和增量更新，以提高LLM生成摘要的一致性和质量。
  3. 通过1193条人类注释和BooookScore指标，发现闭源模型在摘要生成上表现更优，且增量更新方法提供了更高的细节水平。

📝 摘要（中文）

在大语言模型（LLMs）时代，生成超过10万字的书籍摘要面临挑战，需将文档分块并合并摘要。现有的评估方法难以捕捉LLMs摘要中的错误，且现有数据集大多已被用于预训练。本文首次研究了LLM生成书籍摘要的一致性，提出了两种提示工作流，并开发了自动评估指标BooookScore，能够有效评估摘要质量，节省了大量人力成本。研究发现，闭源模型如GPT-4的摘要质量优于开源模型，增量更新方法在细节上表现更佳。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成书籍摘要时面临的一致性问题。现有方法在处理超长文本时，难以有效评估生成摘要的质量，尤其是无法捕捉到LLMs的错误。

核心思路：论文提出的核心思路是通过两种不同的提示工作流来生成和优化摘要：层次合并和增量更新。这种设计旨在提高生成摘要的一致性和信息完整性。

技术框架：整体流程包括将长文本分块、生成每个块的摘要、然后通过层次合并或增量更新的方法生成最终摘要。主要模块包括文本分块、摘要生成和摘要合并。

关键创新：最重要的技术创新是提出了BooookScore自动评估指标，该指标能够有效衡量摘要中错误类型的比例，且与人类评估结果高度一致。与现有方法相比，BooookScore提供了一种系统化的评估方式。

关键设计：在参数设置上，研究探索了不同的块大小和基础LLM对摘要质量的影响。此外，增量更新方法虽然在BooookScore上表现较低，但在细节丰富性上具有优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，闭源模型如GPT-4和Claude 2的BooookScore显著高于开源模型，且增量更新方法在细节上更具优势。BooookScore的引入节省了约15,000美元和500小时的人力评估成本，显示出其在实际应用中的价值。

🎯 应用场景

该研究在长文本摘要生成领域具有广泛的应用潜力，尤其适用于书籍、研究报告等需要高质量摘要的场景。BooookScore的自动评估能力可以帮助研究人员和开发者更高效地优化摘要生成模型，推动相关技术的发展。

📄 摘要（原文）

Summarizing book-length documents (>100K tokens) that exceed the context window size of large language models (LLMs) requires first breaking the input document into smaller chunks and then prompting an LLM to merge, update, and compress chunk-level summaries. Despite the complexity and importance of this task, it has yet to be meaningfully studied due to the challenges of evaluation: existing book-length summarization datasets (e.g., BookSum) are in the pretraining data of most public LLMs, and existing evaluation methods struggle to capture errors made by modern LLM summarizers. In this paper, we present the first study of the coherence of LLM-based book-length summarizers implemented via two prompting workflows: (1) hierarchically merging chunk-level summaries, and (2) incrementally updating a running summary. We obtain 1193 fine-grained human annotations on GPT-4 generated summaries of 100 recently-published books and identify eight common types of coherence errors made by LLMs. Because human evaluation is expensive and time-consuming, we develop an automatic metric, BooookScore, that measures the proportion of sentences in a summary that do not contain any of the identified error types. BooookScore has high agreement with human annotations and allows us to systematically evaluate the impact of many other critical parameters (e.g., chunk size, base LLM) while saving $15K USD and 500 hours in human evaluation costs. We find that closed-source LLMs such as GPT-4 and Claude 2 produce summaries with higher BooookScore than those generated by open-source models. While LLaMA 2 falls behind other models, Mixtral achieves performance on par with GPT-3.5-Turbo. Incremental updating yields lower BooookScore but higher level of detail than hierarchical merging, a trade-off sometimes preferred by annotators.