An Empirical Study of Many-to-Many Summarization with Large Language Models

📄 arXiv: 2505.12983v1 📥 PDF

作者: Jiaan Wang, Fandong Meng, Zengkui Sun, Yunlong Liang, Yuxuan Cao, Jiarong Xu, Haoxiang Shi, Jie Zhou

分类: cs.CL, cs.AI

发布日期: 2025-05-19

备注: Accepted to ACL 2025 main conference

💡 一句话要点

系统性研究大型语言模型在多语种文档摘要任务中的能力，揭示指令调优的优势与事实性挑战。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语种文档摘要 大型语言模型 指令调优 零样本学习 事实性 自然语言处理 跨语言信息处理

📋 核心要点

  1. 现有方法难以有效处理多语种文档摘要任务，尤其是在跨领域和语言的泛化能力方面存在挑战。
  2. 论文核心在于系统性地评估大型语言模型在多语种文档摘要任务中的表现，并探索指令调优对模型性能的影响。
  3. 实验结果表明，指令调优后的开源LLMs在多语种文档摘要任务上超越了零样本LLMs，但在事实性方面仍存在问题。

📝 摘要（中文）

本文对大型语言模型（LLMs）的多语种文档摘要（M2MS）能力进行了系统的实证研究。首先，基于八个先前的特定领域数据集，重新组织了M2MS数据。重组后的数据包含47.8K个样本，涵盖五个领域和六种语言，可用于训练和评估LLMs。然后，以零样本和指令调优的方式对18个LLMs进行了基准测试。同时，也对微调的传统模型（例如，mBART）进行了比较。实验表明，零样本LLMs取得了与微调的传统模型具有竞争力的结果。经过指令调优后，开源LLMs可以显著提高其M2MS能力，并且在自动评估方面优于零样本LLMs（包括GPT-4）。此外，证明了这种特定于任务的改进不会牺牲LLMs的通用任务解决能力。然而，正如人工评估所揭示的那样，LLMs仍然面临事实性问题，并且指令调优可能会加剧该问题。因此，如何控制事实错误成为在实际应用中构建LLM摘要器的关键，并且值得在未来的研究中注意。

🔬 方法详解

问题定义：论文旨在解决多语种文档摘要（M2MS）问题，即处理任意语言的文档并生成任意语言的摘要。现有方法，如基于传统模型的微调，虽然在特定领域表现良好，但在跨领域和语言的泛化能力上存在局限性。此外，如何有效利用大型语言模型（LLMs）的强大多语言能力来提升M2MS性能也是一个关键问题。

核心思路：论文的核心思路是系统性地评估LLMs在M2MS任务中的能力，并探索指令调优对模型性能的影响。通过构建包含多个领域和语言的大规模数据集，并采用零样本和指令调优两种方式对LLMs进行基准测试，从而全面了解LLMs在M2MS任务中的优势和不足。

技术框架：论文的技术框架主要包括以下几个部分：1) 数据集构建：基于八个先前的特定领域数据集，重新组织M2MS数据，构建包含47.8K个样本，涵盖五个领域和六种语言的数据集。2) 模型选择：选择18个LLMs进行评估，包括闭源模型（如GPT-4）和开源模型。3) 实验设置：采用零样本和指令调优两种方式对LLMs进行基准测试，并与微调的传统模型（如mBART）进行比较。4) 评估指标：采用自动评估指标（如ROUGE）和人工评估来评估模型的性能。

关键创新：论文的关键创新在于：1) 系统性地评估了LLMs在M2MS任务中的能力，为该领域的研究提供了重要的参考。2) 证明了指令调优可以显著提高开源LLMs的M2MS能力，使其在自动评估方面超越零样本LLMs（包括GPT-4）。3) 揭示了LLMs在M2MS任务中仍然面临事实性问题，并指出指令调优可能会加剧该问题。

关键设计：论文的关键设计包括：1) 数据集的构建，确保了数据集的多样性和规模，从而能够有效评估LLMs的泛化能力。2) 指令调优策略的选择，采用了合适的指令模板和训练方法，从而能够有效提升LLMs的M2MS能力。3) 评估指标的选择，采用了自动评估指标和人工评估相结合的方式，从而能够全面评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过指令调优后，开源LLMs在多语种文档摘要任务上取得了显著提升，在自动评估指标上超越了零样本LLMs（包括GPT-4）。然而，人工评估揭示LLMs仍然面临事实性问题，指令调优可能会加剧该问题，这为未来的研究指明了方向。

🎯 应用场景

该研究成果可应用于多语言信息检索、跨语言机器翻译、全球新闻摘要等领域。通过构建更可靠的多语种文档摘要系统，可以帮助用户快速获取不同语言的信息，促进跨文化交流和理解。未来的研究可以进一步关注如何控制LLM摘要中的事实性错误，提高摘要的质量和可靠性。

📄 摘要（原文）

Many-to-many summarization (M2MS) aims to process documents in any language and generate the corresponding summaries also in any language. Recently, large language models (LLMs) have shown strong multi-lingual abilities, giving them the potential to perform M2MS in real applications. This work presents a systematic empirical study on LLMs' M2MS ability. Specifically, we first reorganize M2MS data based on eight previous domain-specific datasets. The reorganized data contains 47.8K samples spanning five domains and six languages, which could be used to train and evaluate LLMs. Then, we benchmark 18 LLMs in a zero-shot manner and an instruction-tuning manner. Fine-tuned traditional models (e.g., mBART) are also conducted for comparisons. Our experiments reveal that, zero-shot LLMs achieve competitive results with fine-tuned traditional models. After instruct-tuning, open-source LLMs can significantly improve their M2MS ability, and outperform zero-shot LLMs (including GPT-4) in terms of automatic evaluations. In addition, we demonstrate that this task-specific improvement does not sacrifice the LLMs' general task-solving abilities. However, as revealed by our human evaluation, LLMs still face the factuality issue, and the instruction tuning might intensify the issue. Thus, how to control factual errors becomes the key when building LLM summarizers in real applications, and is worth noting in future research.