MDCure: A Scalable Pipeline for Multi-Document Instruction-Following

📄 arXiv: 2410.23463v3 📥 PDF

作者: Gabrielle Kaili-May Liu, Bowen Shi, Avi Caciularu, Idan Szpektor, Arman Cohan

分类: cs.CL, cs.LG

发布日期: 2024-10-30 (更新: 2025-04-28)

🔗 代码/项目: GITHUB

💡 一句话要点

MDCure：一种可扩展的多文档指令跟随流水线，提升LLM在复杂文档集上的处理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多文档处理 指令跟随 数据生成 奖励模型 大型语言模型 微调 长文本理解

📋 核心要点

  1. 现有LLM在处理多文档任务时，面临文档间依赖、冗余和结构不连贯等挑战，限制了其在实际应用中的能力。
  2. MDCure提出了一种可扩展的指令数据生成框架，通过有针对性的prompt生成高质量合成数据，提升LLM的多文档处理能力。
  3. 实验表明，通过MDCure微调的LLM在多文档和长文本基准测试中，性能显著优于预训练模型，提升高达75.1%。

📝 摘要（中文）

多文档（MD）处理对于LLM处理现实世界的任务至关重要，例如跨大型文档集的摘要和问答。虽然LLM在处理长输入方面有所改进，但MD上下文仍然存在独特的困难，包括文档间依赖关系的管理、冗余和不连贯的结构。为了应对这一挑战，我们引入了MDCure，这是一个可扩展且有效的指令数据生成框架，旨在增强LLM的MD能力，而无需预训练的计算成本或依赖人工标注数据。MDCure通过有针对性的提示，在文章集上生成高质量的合成MD指令数据。我们还引入了MDCureRM，这是一个经济高效的、MD特定的奖励模型，用于根据其在MD设置中的训练效用对生成的数据进行评分和过滤。MDCure与开源和闭源模型以及策略优化方法（如PPO）兼容，使小型开源模型也能超越专有LLM，成为高质量MD指令数据的强大生成器，而无需进一步的数据过滤。借助MDCure，我们对来自FlanT5、Qwen2和LLAMA3.1模型系列的各种LLM（最大尺寸为70B参数）进行了微调。在涵盖各种任务和领域的广泛MD和长上下文基准上的大量评估表明，MDCure始终将性能提高到预训练基线和基础模型之上，提升幅度高达75.1%。我们的代码、数据集和模型可在https://github.com/yale-nlp/MDCure 获得。

🔬 方法详解

问题定义：论文旨在解决LLM在处理多文档任务时面临的挑战，包括文档间依赖关系的管理、信息冗余以及结构不连贯等问题。现有方法通常依赖于人工标注数据或计算成本高昂的预训练，限制了其可扩展性和效率。

核心思路：论文的核心思路是利用prompt工程自动生成高质量的合成多文档指令数据，并使用奖励模型对生成的数据进行过滤和排序，从而提升LLM在多文档任务上的性能，同时避免了人工标注和大规模预训练的成本。

技术框架：MDCure框架包含两个主要模块：指令数据生成模块和奖励模型模块。指令数据生成模块使用预定义的prompt模板，针对给定的文档集合生成指令数据。奖励模型模块则对生成的数据进行评分，评估其在多文档任务中的训练效用。整个流程包括：1) 使用prompt生成多文档指令数据；2) 使用MDCureRM对数据进行评分和过滤；3) 使用过滤后的数据对LLM进行微调。

关键创新：MDCure的关键创新在于提出了一种可扩展且经济高效的指令数据生成和过滤方法，无需人工标注或大规模预训练即可提升LLM的多文档处理能力。MDCureRM奖励模型的引入，能够有效地筛选出对多文档任务有益的训练数据。

关键设计：MDCureRM是一个专门为多文档任务设计的奖励模型，其训练目标是预测生成数据在多文档任务上的训练效用。论文中使用了PPO等策略优化方法对LLM进行微调，并探索了不同模型家族（FlanT5、Qwen2、LLAMA3.1）和模型尺寸（最大70B参数）的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过MDCure微调的LLM在多个多文档和长文本基准测试中取得了显著的性能提升，最高提升幅度达到75.1%。即使是小型开源模型，在MDCure的帮助下，也能超越一些大型的闭源模型，证明了该方法的有效性和泛化能力。

🎯 应用场景

MDCure技术可应用于多种需要处理大量文档信息的场景，例如：自动生成研究报告、跨文档问答、金融分析、法律文件处理等。该研究有助于提升LLM在实际应用中的能力，降低人工成本，提高信息处理效率，并为未来的多文档处理研究提供新的思路。

📄 摘要（原文）

Multi-document (MD) processing is crucial for LLMs to handle real-world tasks such as summarization and question-answering across large sets of documents. While LLMs have improved at processing long inputs, MD contexts still present unique difficulties, including management of inter-document dependencies, redundancy, and incoherent structures. To address this challenge, we introduce MDCure, a scalable and effective instruction data generation framework to enhance the MD capabilities of LLMs without the computational cost of pre-training or reliance on human-annotated data. MDCure generates high-quality synthetic MD instruction data over sets of articles via targeted prompts. We also introduce MDCureRM, a cost-effective, MD-specific reward model to score and filter generated data based on their training utility for MD settings. MDCure is compatible with open- and closed-source models in addition to policy optimization methods such as PPO, enabling even small open-source models to surpass proprietary LLMs as strong generators of high-quality MD instruction data without further data filtering. With MDCure, we fine-tune a wide variety of LLMs up to 70B parameters in size from the FlanT5, Qwen2, and LLAMA3.1 model families. Extensive evaluations on a wide range of MD and long-context benchmarks spanning various tasks and domains show MDCure consistently improves performance over pre-trained baselines and base models by up to 75.1%. Our code, datasets, and models are available at https://github.com/yale-nlp/MDCure.