Automatic Generation of Titles for Research Papers Using Language Models

📄 arXiv: 2606.05085v1 📥 PDF

作者: Tohida Rehman, Debarshi Kumar Sanyal, Samiran Chattopadhyay

分类: cs.CL, cs.AI

发布日期: 2026-06-03

备注: 24 pages, 24 tables, 01 figure

💡 一句话要点

提出一种基于语言模型的自动生成研究论文标题的方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动标题生成 语言模型 机器学习 文本生成 科研出版 数据集构建

📋 核心要点

  1. 现有方法在自动生成研究论文标题时面临选择合适标题的挑战，且生成的标题质量参差不齐。
  2. 本文提出了一种基于大型语言模型的自动标题生成技术，利用摘要信息生成高质量的论文标题。
  3. 实验结果显示，微调后的PEGASUS-large模型在多个评估指标上表现优于其他对比模型，验证了方法的有效性。

📝 摘要（中文）

研究论文的标题清晰简洁地传达了主要思想和结论，然而选择合适的标题常常具有挑战性。本文提出了一种利用开放权重预训练的大型语言模型从摘要生成论文标题的技术。我们使用CSPubSum和LREC-COLING-2024数据集，并引入了一个新的数据集SpringerSSAT，该数据集从四本社会科学的Springer期刊中整理而来。此外，我们在零-shot设置下使用GPT-3.5-turbo生成标题。模型性能通过ROUGE、METEOR、MoverScore、BERTScore和SciBERTScore等指标进行评估。实验结果表明，微调后的PEGASUS-large在大多数指标上优于其他模型，包括微调后的LLaMA-3-8B和零-shot的GPT-3.5-turbo。我们进一步展示了ChatGPT能够生成富有创意的论文标题。总体而言，AI生成的标题通常是合适且可靠的。

🔬 方法详解

问题定义：本文旨在解决研究论文标题生成的挑战，现有方法往往无法生成高质量且相关性强的标题，影响论文的传播与影响力。

核心思路：通过利用开放权重的预训练大型语言模型，从论文摘要中自动生成标题，旨在提高标题生成的准确性和相关性。

技术框架：整体流程包括数据集的构建、模型的选择与训练、以及生成标题的评估。使用CSPubSum、LREC-COLING-2024和新构建的SpringerSSAT数据集进行训练和测试。

关键创新：引入了新的数据集SpringerSSAT，并通过微调PEGASUS-large模型，显著提升了标题生成的质量，尤其是在社会科学领域。

关键设计：在模型训练中，采用了多种评估指标（如ROUGE、METEOR等）来衡量生成标题的质量，确保模型在不同维度上均能表现优异。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，微调后的PEGASUS-large模型在ROUGE、METEOR等多个指标上均优于LLaMA-3-8B和零-shot的GPT-3.5-turbo，显示出显著的性能提升，验证了所提方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括学术出版、科研管理和信息检索等，能够帮助作者快速生成高质量的论文标题，提高论文的可见性和影响力。未来，该技术还可扩展至其他领域的文本生成任务，具有广泛的应用前景。

📄 摘要（原文）

The title of a research paper conveys its primary idea and, occasionally, its conclusions in a clear and concise manner. Choosing an appropriate title is often challenging, and automated title generation can assist authors in this task. In this work, we propose a technique to generate paper titles from abstracts using open-weight pre-trained and large language models. We use the CSPubSum and LREC-COLING-2024 datasets and introduce a new dataset, SpringerSSAT, curated from four Springer journals in the social sciences. Additionally, we use GPT-3.5-turbo in a zero-shot setting to generate titles. Model performance is evaluated with ROUGE, METEOR, MoverScore, BERTScore, and SciBERTScore metrics. Our experiments show that fine-tuned PEGASUS-large outperforms other models, including fine-tuned LLaMA-3-8B and zero-shot GPT-3.5-turbo, across most metrics. We further demonstrate that ChatGPT can generate creative paper titles. Overall, AI-generated titles are generally appropriate and reliable.