Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs

📄 arXiv: 2407.04855v1 📥 PDF

作者: Mihir Parmar, Hanieh Deilamsalehy, Franck Dernoncourt, Seunghyun Yoon, Ryan A. Rossi, Trung Bui

分类: cs.CL, cs.AI

发布日期: 2024-07-05

备注: 10 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出面向用户意图的抽取式摘要数据集，提升LLM生成摘要的连贯性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抽取式摘要 大型语言模型 用户意图 连贯性 数据集 监督式微调 自然语言反馈

📋 核心要点

  1. 现有抽取式摘要方法，特别是基于LLM的方法，生成的摘要连贯性不足，缺乏对用户意图的考虑。
  2. 论文核心在于构建包含用户反馈的人工标注数据集，并利用该数据集对LLM进行微调，提升摘要的连贯性。
  3. 实验表明，使用该数据集微调Falcon-40B和Llama-2-13B后，摘要的Rouge-L指标提升约10%，显著改善了连贯性。

📝 摘要（中文）

抽取式摘要在自然语言处理中扮演着关键角色，它能高效地总结各种内容，并保持对原文的忠实性。尽管大型语言模型（LLMs）在抽取式摘要方面取得了显著进展，但生成的摘要经常表现出不连贯性。连贯摘要的一个重要方面是其对目标用户的可读性。虽然已经有许多数据集和基准被提出用于创建连贯的抽取式摘要，但目前还没有一个数据集将用户意图纳入其中，以提高抽取式摘要的连贯性。为此，我们提出了一个系统创建的人工标注数据集，其中包含五个公开数据集的连贯摘要和自然语言用户反馈，为如何提高抽取式摘要的连贯性提供了宝贵的见解。我们利用该数据集，通过监督式微调和自然语言人工反馈来对齐LLM，以增强其生成摘要的连贯性。使用Falcon-40B和Llama-2-13B的初步实验表明，在生成连贯摘要方面有显著的性能提升（约10%的Rouge-L）。我们进一步利用人工反馈来对指令调整模型（如FLAN-T5）的结果进行基准测试，从而得出了一些有趣的发现。数据和源代码可在https://github.com/Mihir3009/Extract-AI获取。

🔬 方法详解

问题定义：论文旨在解决抽取式摘要中连贯性不足的问题，尤其是在大型语言模型生成的摘要中。现有方法通常忽略了用户意图，导致生成的摘要虽然忠实于原文，但可读性和流畅性较差。缺乏包含用户反馈的训练数据是主要痛点。

核心思路：论文的核心思路是构建一个包含用户反馈的抽取式摘要数据集，并利用该数据集对LLM进行监督式微调。通过用户反馈，模型可以学习到更符合用户需求的摘要生成方式，从而提高摘要的连贯性和可读性。

技术框架：整体框架包括数据收集与标注、模型微调和评估三个主要阶段。首先，从五个公开数据集中抽取文本，并由人工标注生成连贯摘要，同时收集用户对摘要的自然语言反馈。然后，使用标注数据和用户反馈对LLM（如Falcon-40B和Llama-2-13B）进行监督式微调。最后，使用Rouge-L等指标和人工评估来评估微调后的模型性能。

关键创新：最重要的创新点在于构建了包含用户意图的抽取式摘要数据集。该数据集不仅包含高质量的人工摘要，还包含了用户对摘要的自然语言反馈，这使得模型能够更好地学习到用户对摘要连贯性的期望。与现有数据集相比，该数据集更注重用户体验，从而能够更好地指导模型生成更连贯的摘要。

关键设计：数据集构建的关键在于如何有效地收集和利用用户反馈。论文采用自然语言反馈的形式，允许用户自由表达对摘要的意见和建议。在模型微调过程中，可以使用不同的损失函数来整合用户反馈，例如，可以使用对比学习损失来鼓励模型生成更符合用户反馈的摘要。具体的参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用包含用户反馈的数据集对Falcon-40B和Llama-2-13B进行微调后，摘要的Rouge-L指标提升约10%。此外，人工评估也表明，微调后的模型生成的摘要在连贯性和可读性方面有显著改善。与指令调整模型FLAN-T5相比，微调后的模型在某些指标上表现更优。

🎯 应用场景

该研究成果可广泛应用于各种需要自动生成摘要的场景，例如新闻摘要、文档摘要、会议记录摘要等。通过提升摘要的连贯性和可读性，可以帮助用户更快速、更准确地获取信息，提高工作效率。未来，该方法还可以应用于个性化摘要生成，根据不同用户的需求生成定制化的摘要。

📄 摘要（原文）

Extractive summarization plays a pivotal role in natural language processing due to its wide-range applications in summarizing diverse content efficiently, while also being faithful to the original content. Despite significant advancement achieved in extractive summarization by Large Language Models (LLMs), these summaries frequently exhibit incoherence. An important aspect of the coherent summary is its readability for intended users. Although there have been many datasets and benchmarks proposed for creating coherent extractive summaries, none of them currently incorporate user intent to improve coherence in extractive summarization. Motivated by this, we propose a systematically created human-annotated dataset consisting of coherent summaries for five publicly available datasets and natural language user feedback, offering valuable insights into how to improve coherence in extractive summaries. We utilize this dataset for aligning LLMs through supervised fine-tuning with natural language human feedback to enhance the coherence of their generated summaries. Preliminary experiments with Falcon-40B and Llama-2-13B show significant performance improvements (~10% Rouge-L) in terms of producing coherent summaries. We further utilize human feedback to benchmark results over instruction-tuned models such as FLAN-T5 which resulted in several interesting findings. Data and source code are available at https://github.com/Mihir3009/Extract-AI.