CNNSum: Exploring Long-Context Summarization with Large Language Models in Chinese Novels

📄 arXiv: 2412.02819v5 📥 PDF

作者: Lingxiao Wei, He Yan, Xiangju Lu, Junmin Zhu, Jun Wang, Wei Zhang

分类: cs.CL, cs.AI

发布日期: 2024-12-03 (更新: 2025-06-02)

备注: Accepted to ACL 2025 (Findings)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CNNSum：一个基于中文小说的多尺度长文本摘要基准，用于评估和提升大型语言模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本摘要 大型语言模型 中文小说 基准数据集 模型评估 RoPE缩放 外推能力 微调

📋 核心要点

  1. 长文本摘要数据集匮乏，阻碍了大型语言模型在该领域的进一步发展和评估。
  2. 构建了CNNSum，一个基于中文小说的多尺度长文本摘要基准，包含人工标注的多个子集。
  3. 通过基准测试和人工评估，分析了LLM在长文本摘要中的问题，并探索了提升性能的方法。

📝 摘要（中文）

大型语言模型(LLMs)在各种长文本任务中得到了充分的研究。然而，长文本摘要数据集的稀缺阻碍了该领域的发展。为了解决这个问题，我们推出了CNNSum，这是一个基于中文小说的多尺度长文本摘要基准，它具有人工驱动的注释，包含四个子集，总共695个样本，长度从16k到128k不等。我们对大量的LLM进行了基准测试，并进行了详细的人工评估，以总结异常的输出类型。此外，我们广泛地探索了如何改进长文本摘要。在我们的研究中：（1）先进的LLM可能会产生很多主观评论，导致模糊的摘要。（2）目前，长文本摘要主要依赖于记忆能力。大型LLM的优势难以利用，因此小型LLM更具成本效益。（3）不同的提示类型与不同的版本模型配对可能会导致较大的性能差距。在进一步的微调中，这些可以得到缓解，并且Base版本模型表现更好。（4）具有RoPE-base scaled的LLM表现出强大的外推潜力；使用短文本数据可以显著提高长文本摘要的性能。然而，进一步应用其他插值方法需要仔细选择。（5）CNNSum提供了比其他基准更可靠的评估结果。我们发布CNNSum以推进未来的研究。

🔬 方法详解

问题定义：现有长文本摘要数据集不足，难以有效评估和提升大型语言模型在处理长文本时的摘要能力。现有方法可能存在主观评论过多、依赖记忆能力而非理解能力等问题，导致摘要质量不高。

核心思路：通过构建高质量的中文长文本摘要数据集CNNSum，为研究人员提供一个可靠的评估平台。同时，通过对不同LLM进行基准测试和分析，揭示现有方法的问题，并探索提升长文本摘要性能的有效策略。

技术框架：CNNSum数据集基于中文小说构建，包含多个子集，覆盖不同长度范围（16k-128k）。研究人员使用该数据集对多种LLM进行评估，并分析其输出结果。同时，探索不同的prompt策略、微调方法以及模型缩放策略，以提升长文本摘要性能。

关键创新：CNNSum数据集的构建，填补了中文长文本摘要数据集的空白。研究发现，长文本摘要主要依赖记忆能力，大型LLM的优势难以发挥。同时，RoPE-base scaled的LLM表现出强大的外推潜力，使用短文本数据可以显著提高长文本摘要性能。

关键设计：数据集包含人工标注的摘要，保证了摘要质量。研究人员探索了不同的prompt类型、微调方法（包括Base版本模型的微调）以及模型缩放策略（如RoPE-base scaled）。通过实验对比，分析了不同策略对长文本摘要性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CNNSum数据集的评估结果表明，现有LLM在长文本摘要中存在主观评论过多、依赖记忆能力等问题。通过微调Base版本模型和使用RoPE-base scaled的LLM，可以显著提高长文本摘要性能。此外，使用短文本数据进行训练可以有效提升长文本摘要的外推能力。

🎯 应用场景

该研究成果可应用于智能阅读、信息检索、内容创作等领域。高质量的长文本摘要能够帮助用户快速了解文章主旨，提高阅读效率。同时，该研究也为开发更强大的长文本处理模型提供了思路，促进了自然语言处理技术的发展。

📄 摘要（原文）

Large language models (LLMs) have been well-researched in various long-context tasks. However, the scarcity of long-context summarization datasets hinders progress in this area. To address this, we introduce CNNSum, a multi-scale long-context summarization benchmark based on Chinese novels, featuring human-driven annotations across four subsets totaling 695 samples, with lengths ranging from 16k to 128k. We benchmark numerous LLMs and conduct detailed human assessments to summarize abnormal output types. Furthermore, we extensively explore how to improve long-context summarization. In our study: (1) Advanced LLMs may generate much subjective commentary, leading to vague summaries. (2) Currently, long-context summarization mainly relies on memory ability. The advantages of Large LLMs are hard to utilize, thus small LLMs are more cost-effective. (3) Different prompt types paired with various version models may cause large performance gaps. In further fine-tuning, these can be mitigated, and the Base version models perform better. (4) LLMs with RoPE-base scaled exhibit strong extrapolation potential; using short-context data can significantly improve long-context summarization performance. However, further applying other interpolation methods requires careful selection. (5) CNNSum provides more reliable evaluation results than other benchmarks. We release CNNSum to advance future research.(https://github.com/CxsGhost/CNNSum)