Not too long do read: Evaluating LLM-generated extreme scientific summaries

📄 arXiv: 2512.23206v1 📥 PDF

作者: Zhuoqi Lyu, Qing Ke

分类: cs.CL, cs.AI

发布日期: 2025-12-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出BiomedTLDR数据集，评估大语言模型在生成科研论文极简摘要方面的能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本摘要 极简摘要 科研论文 数据集构建

📋 核心要点

  1. 现有科研TLDR数据集的不足限制了对LLM生成极简摘要能力的全面评估。
  2. 论文构建BiomedTLDR数据集，包含研究人员撰写的摘要，用于训练和评估LLM。
  3. 实验表明，LLM生成的摘要更倾向于抽取式，在词汇和结构上更依赖原文。

📝 摘要（中文）

高质量的科研极简摘要（TLDR）有助于有效的科学交流。本文旨在评估大型语言模型（LLMs）在生成此类摘要方面的表现，并分析LLM生成的摘要与人类专家撰写的摘要之间的差异。由于缺乏全面、高质量的科研TLDR数据集，阻碍了LLMs摘要能力的开发和评估。为此，我们提出了一个名为BiomedTLDR的新数据集，其中包含大量研究人员撰写的科研论文摘要，这些摘要来自参考文献条目旁边的作者评论。我们测试了流行的开源LLMs，使其基于摘要生成TLDR。分析表明，尽管其中一些模型成功生成了类人摘要，但与人类相比，LLMs通常更倾向于原始文本的词汇选择和修辞结构，因此总体上更偏向于抽取式而非生成式。

🔬 方法详解

问题定义：论文旨在解决缺乏高质量科研TLDR数据集的问题，从而无法有效评估和提升大型语言模型（LLMs）生成极简摘要的能力。现有方法要么依赖于人工标注，成本高昂且难以扩展，要么缺乏足够的覆盖范围和质量，无法充分反映科研摘要的特点。

核心思路：论文的核心思路是利用科研论文中常见的作者评论（通常出现在参考文献条目旁边）作为高质量的TLDR摘要来源。这些摘要通常由研究人员自己撰写，能够简洁明了地概括论文的核心内容，因此可以作为训练和评估LLMs的理想数据。

技术框架：论文主要包含两个阶段：数据集构建和LLM评估。首先，从生物医学领域的科研论文中提取包含作者评论的参考文献条目，构建BiomedTLDR数据集。然后，选择流行的开源LLMs，基于论文摘要生成TLDR摘要，并与BiomedTLDR数据集中的人工摘要进行比较分析。

关键创新：论文的关键创新在于提出了利用作者评论构建高质量科研TLDR数据集的方法。这种方法避免了人工标注的成本和主观性，能够大规模地获取高质量的摘要数据。此外，论文还对LLM生成的摘要进行了深入的分析，揭示了LLM在生成科研摘要方面的优势和不足。

关键设计：BiomedTLDR数据集的构建过程包括数据清洗、过滤和格式化等步骤，以确保数据的质量和可用性。在LLM评估方面，论文采用了多种评价指标，包括ROUGE、BLEU等，以全面评估LLM生成的摘要的质量。此外，论文还对LLM生成的摘要进行了人工分析，以了解其在词汇选择、修辞结构等方面的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然部分LLM能够生成类人摘要，但总体而言，LLM生成的摘要更倾向于抽取式，在词汇选择和修辞结构上更依赖原文。与人类专家撰写的摘要相比，LLM生成的摘要在抽象性和概括性方面仍有差距。这些发现为未来改进LLM生成科研摘要的能力提供了重要的指导。

🎯 应用场景

该研究成果可应用于多个领域。首先，BiomedTLDR数据集可以作为训练和评估LLM生成科研摘要的基准数据集，促进相关技术的发展。其次，该研究可以帮助科研人员更高效地获取和理解科研论文的核心内容，提高科研效率。此外，该方法还可以推广到其他领域，例如法律、金融等，构建特定领域的TLDR数据集。

📄 摘要（原文）

High-quality scientific extreme summary (TLDR) facilitates effective science communication. How do large language models (LLMs) perform in generating them? How are LLM-generated summaries different from those written by human experts? However, the lack of a comprehensive, high-quality scientific TLDR dataset hinders both the development and evaluation of LLMs' summarization ability. To address these, we propose a novel dataset, BiomedTLDR, containing a large sample of researcher-authored summaries from scientific papers, which leverages the common practice of including authors' comments alongside bibliography items. We then test popular open-weight LLMs for generating TLDRs based on abstracts. Our analysis reveals that, although some of them successfully produce humanoid summaries, LLMs generally exhibit a greater affinity for the original text's lexical choices and rhetorical structures, hence tend to be more extractive rather than abstractive in general, compared to humans. Our code and datasets are available at https://github.com/netknowledge/LLM_summarization (Lyu and Ke, 2025).