Edisum: Summarizing and Explaining Wikipedia Edits at Scale
作者: Marija Šakota, Isaac Johnson, Guosheng Feng, Robert West
分类: cs.CL
发布日期: 2024-04-04 (更新: 2024-08-18)
💡 一句话要点
提出Edisum以解决维基百科编辑摘要缺失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 维基百科 编辑摘要 语言模型 生成模型 内容审核 数据挖掘
📋 核心要点
- 现有的维基百科编辑摘要常常缺失或不完整，影响内容审核和研究。
- 本文提出了一种基于语言模型的编辑摘要推荐系统，旨在帮助编辑者生成有效的摘要。
- 实验结果表明，该模型的表现与人类编辑相当，且在效率上具有优势。
📝 摘要（中文）
编辑摘要是维基百科编辑者撰写的简短评论，解释编辑的性质和原因。编辑摘要对于维护百科全书至关重要，因为它们是内容审核者首先看到的内容，帮助他们决定是否接受或拒绝编辑。此外，编辑摘要也是研究人员的重要数据来源。然而，许多编辑的摘要缺失或不完整。为了解决这一问题，本文提出了一种模型，利用经过训练的语言模型，根据编辑差异的表示生成推荐的编辑摘要。通过对混合质量的训练数据进行微调，模型在效率和效果上均表现出色，能够与人类编辑的表现相当。
🔬 方法详解
问题定义：本文旨在解决维基百科编辑摘要缺失或不完整的问题。现有方法在处理编辑摘要时，常常面临混合质量的训练数据和效率要求的挑战。
核心思路：论文提出了一种基于小型生成语言模型的推荐系统，通过微调模型以适应维基百科的特定需求，从而生成高质量的编辑摘要。这样的设计旨在提高摘要的生成效率和质量。
技术框架：整体架构包括数据收集、模型训练和摘要生成三个主要模块。首先，收集经过筛选的人类和合成数据，然后对模型进行微调，最后根据编辑差异生成摘要。
关键创新：最重要的技术创新在于通过微调小型生成语言模型，使其在维基百科特定环境下表现优异，克服了大型商业语言模型不适用的问题。
关键设计：模型的微调过程中，采用了混合质量的数据集，并设计了适合维基百科的损失函数，以确保生成的摘要既准确又简洁。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的模型在编辑摘要生成任务上与人类编辑的表现相当，且在处理效率上显著优于现有的开源模型。具体性能数据表明，该模型在摘要生成的准确性和简洁性上均有显著提升。
🎯 应用场景
该研究的潜在应用领域包括维基百科等大型协作平台的内容审核和管理。通过提高编辑摘要的质量，可以增强内容审核的效率，促进知识的准确传播，未来可能影响更多开放知识平台的编辑流程。
📄 摘要（原文）
An edit summary is a succinct comment written by a Wikipedia editor explaining the nature of, and reasons for, an edit to a Wikipedia page. Edit summaries are crucial for maintaining the encyclopedia: they are the first thing seen by content moderators and they help them decide whether to accept or reject an edit. Additionally, edit summaries constitute a valuable data source for researchers. Unfortunately, as we show, for many edits, summaries are either missing or incomplete. To overcome this problem and help editors write useful edit summaries, we propose a model for recommending edit summaries generated by a language model trained to produce good edit summaries given the representation of an edit diff. To overcome the challenges of mixed-quality training data and efficiency requirements imposed by the scale of Wikipedia, we fine-tune a small generative language model on a curated mix of human and synthetic data. Our model performs on par with human editors. Commercial large language models are able to solve this task better than human editors, but are not well suited for Wikipedia, while open-source ones fail on this task. More broadly, we showcase how language modeling technology can be used to support humans in maintaining one of the largest and most visible projects on the Web.