Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing

📄 arXiv: 2406.03993v2 📥 PDF

作者: Hadi Askari, Anshuman Chhabra, Muhao Chen, Prasant Mohapatra

分类: cs.CL

发布日期: 2024-06-06 (更新: 2025-02-01)

备注: Accepted to NAACL 2025 Findings

💡 一句话要点

提出相关性释义方法，评估大型语言模型在零样本摘要生成中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本摘要 大型语言模型 鲁棒性评估 相关性释义 文本释义

📋 核心要点

  1. 现有零样本摘要方法缺乏对大型语言模型鲁棒性的有效评估手段。
  2. 提出相关性释义方法，通过对关键句进行释义生成扰动数据集，评估模型在相似输入下的表现。
  3. 实验表明，即使是最小程度扰动，也会显著影响LLM的摘要质量，揭示了其鲁棒性不足。

📝 摘要（中文）

大型语言模型（LLMs）在给定文章的零样本抽象摘要生成方面取得了最先进的性能。然而，关于这种零样本摘要过程的鲁棒性知之甚少。为了弥合这一差距，我们提出了一种相关性释义方法，该方法可用于衡量LLM作为摘要器的鲁棒性。相关性释义方法识别出对生成理想摘要贡献最大的最相关句子，然后释义这些输入以获得最小扰动的数据集。然后，通过评估模型在原始数据集和扰动数据集上进行摘要的性能，我们可以评估LLM鲁棒性的一个方面。我们使用相关性释义在4个不同的数据集以及4个不同大小的LLM（GPT-3.5-Turbo、Llama-2-13B、Mistral-7B和Dolly-v2-7B）上进行了广泛的实验。我们的结果表明，LLM对于最小扰动的文章而言并非一致的摘要器，因此需要进一步改进。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在零样本抽象摘要任务中的鲁棒性。现有的评估方法通常关注于模型的生成质量，而忽略了模型在面对轻微扰动输入时的稳定性。因此，如何有效地衡量LLMs在相似输入下的摘要一致性是一个关键问题。

核心思路：论文的核心思路是通过引入“相关性释义”的概念，构建一个轻微扰动的数据集。具体来说，首先识别出对生成理想摘要贡献最大的原始文章句子，然后对这些句子进行释义，从而生成语义相似但表达不同的新句子。通过比较LLMs在原始数据集和释义数据集上的摘要性能，可以评估其鲁棒性。

技术框架：该方法主要包含两个阶段：1) 相关句子识别：确定原始文章中对生成摘要至关重要的句子。具体方法未知，但推测可能使用信息检索或注意力机制等方法。2) 句子释义：对识别出的相关句子进行释义，生成语义相似但表达不同的句子。具体释义方法未知，可能使用现有的释义模型或回译等技术。然后，使用原始数据集和释义数据集分别对LLMs进行零样本摘要，并比较摘要质量。

关键创新：该方法的主要创新在于提出了“相关性释义”这一概念，并将其应用于评估LLMs的鲁棒性。与传统的评估方法不同，该方法关注于模型在面对轻微扰动输入时的稳定性，从而更全面地评估模型的性能。

关键设计：论文的关键设计在于如何选择合适的释义方法，以确保生成的释义句子在语义上与原始句子相似，但在表达上有所不同。此外，如何选择合适的评估指标来衡量摘要质量也是一个重要的设计考虑因素。具体的技术细节在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最小程度的扰动，也会显著影响LLM的摘要质量，这表明LLM在零样本摘要任务中缺乏足够的鲁棒性。具体而言，论文在4个不同的数据集和4个不同大小的LLM（GPT-3.5-Turbo、Llama-2-13B、Mistral-7B和Dolly-v2-7B）上进行了实验，结果均表明LLM在释义数据集上的摘要性能明显下降。

🎯 应用场景

该研究成果可应用于评估和改进大型语言模型在文本摘要、机器翻译、对话系统等领域的鲁棒性。通过识别模型在面对轻微扰动时的弱点，可以指导模型训练，提高其在实际应用中的稳定性和可靠性。此外，该方法也可用于评估不同LLM的性能差异，为用户选择合适的模型提供参考。

📄 摘要（原文）

Large Language Models (LLMs) have achieved state-of-the-art performance at zero-shot generation of abstractive summaries for given articles. However, little is known about the robustness of such a process of zero-shot summarization. To bridge this gap, we propose relevance paraphrasing, a simple strategy that can be used to measure the robustness of LLMs as summarizers. The relevance paraphrasing approach identifies the most relevant sentences that contribute to generating an ideal summary, and then paraphrases these inputs to obtain a minimally perturbed dataset. Then, by evaluating model performance for summarization on both the original and perturbed datasets, we can assess the LLM's one aspect of robustness. We conduct extensive experiments with relevance paraphrasing on 4 diverse datasets, as well as 4 LLMs of different sizes (GPT-3.5-Turbo, Llama-2-13B, Mistral-7B, and Dolly-v2-7B). Our results indicate that LLMs are not consistent summarizers for the minimally perturbed articles, necessitating further improvements.