DavIR: Data Selection via Implicit Reward for Large Language Models

📄 arXiv: 2310.13008v2 📥 PDF

作者: Haotian Zhou, Tingkai Liu, Qianli Ma, Yufeng Zhang, Jianbo Yuan, Pengfei Liu, Yang You, Hongxia Yang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-10-16 (更新: 2024-12-19)

💡 一句话要点

提出DavIR以解决大语言模型的数据选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据选择 大语言模型 微调 隐式奖励 自然语言处理 机器学习 模型优化

📋 核心要点

  1. 现有的数据选择方法在后训练的大语言模型中面临效率低下和性能不足的挑战。
  2. DavIR通过量化数据的可学习性，优化了数据选择过程，提升了模型的微调效果。
  3. 实验结果表明，DavIR选择的数据集在多个模型上显著提升了性能，尤其是在AlpacaEval上表现突出。

📝 摘要（中文）

我们介绍了DavIR，这是一种基于模型的数据选择方法，旨在对后训练的大语言模型进行优化。DavIR将可约保持损失推广到因果语言建模的核心集选择问题，并通过在微调过程中相对损失的减少量来量化给定数据的可学习性。我们展示了使用DavIR选择的6% Alpaca数据集能够使LLaMA和Gemma模型家族在性能上优于在完整52K数据集上训练的相同模型。此外，DavIR压缩的Alpaca数据集可以与GSM8K数据集结合，有效平衡开放域自由问答和数学推理能力。最后，我们将DavIR目标应用于直接偏好优化（DPO），开发了标准化的DavIR-DPO目标，使Zephyr-7B-SFT模型在AlpacaEval上的对齐性能提高了8%。

🔬 方法详解

问题定义：本论文旨在解决后训练大语言模型中的数据选择问题。现有方法往往无法有效识别对模型学习最有价值的数据，导致训练效率低下和性能不足。

核心思路：DavIR通过引入可约保持损失的概念，量化数据在微调过程中的可学习性，从而优化数据选择。该方法基于相对损失的减少量，能够更好地指导模型选择最具价值的数据。

技术框架：DavIR的整体架构包括数据选择模块和微调模块。数据选择模块负责评估每个数据点的学习价值，而微调模块则利用选择的数据进行模型训练。

关键创新：DavIR的主要创新在于将可约保持损失推广到因果语言建模的核心集选择问题，并与直接偏好优化（DPO）中的隐式奖励模型相结合，提供了一种新的数据选择视角。

关键设计：在技术细节上，DavIR采用了特定的损失函数来量化数据的学习价值，并通过相对损失减少量来指导数据选择。此外，模型的训练过程经过精心设计，以确保在微调时能够充分利用选择的数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用DavIR选择的6% Alpaca数据集能够使LLaMA和Gemma模型的性能显著提升，优于在完整52K数据集上训练的模型。此外，DavIR-DPO目标使Zephyr-7B-SFT模型在AlpacaEval上的对齐性能提高了8%（相对），显示出其在实际应用中的有效性。

🎯 应用场景

DavIR的研究成果在多个领域具有潜在应用价值，尤其是在自然语言处理和机器学习模型的训练中。通过优化数据选择，DavIR能够提高模型的训练效率和性能，适用于需要处理大规模数据集的场景，如开放域问答和复杂推理任务。未来，DavIR还可能扩展到其他类型的模型和任务中，推动智能系统的进一步发展。

📄 摘要（原文）

We introduce DavIR, a model-based data selection method for post-training Large Language Models. DavIR generalizes Reducible Holdout Loss to core-set selection problem of causal language modeling, and quantifies the learnability of a given datum with respect to a pre-trained LLM based on relative reduction in loss during fine-tuning, a metric we show to be closely related to the implicit reward model described in Direct Preference Optimization (DPO). We show that 6% of Alpaca dataset selected with DavIR can steer both the LLaMA and Gemma model family to produce superior performance compared to the same models trained on the full 52K dataset. We also show that Alpaca dataset compressed with DavIR can be combined with GSM8K dataset to effectively balance open-domain freeform QA and mathematical reasoning capabilities. Finally, we apply the DavIR objective to DPO and develop a normalized DavIR-DPO objective which improves alignment performance of Zephyr-7B-SFT model by 8% (relative) on AlpacaEval, compared against training on vanilla DPO objective.