VersaTune: An Efficient Data Composition Framework for Training Multi-Capability LLMs

📄 arXiv: 2411.11266v5 📥 PDF

作者: Keer Lu, Keshi Zhao, Zhuoran Zhang, Zheng Liang, Da Pan, Shusen Zhang, Xin Wu, Guosheng Dong, Bin Cui, Tengjiao Wang, Wentao Zhang

分类: cs.CL

发布日期: 2024-11-18 (更新: 2025-05-19)

💡 一句话要点

VersaTune：一种高效的数据组合框架，用于训练多能力大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多领域学习 数据组合 动态权重调整 灾难性遗忘 知识分布 微调 通用人工智能

📋 核心要点

  1. 现有工作主要集中在微调期间的特定领域增强，但面临着跨其他领域知识的灾难性遗忘的挑战。
  2. VersaTune通过检测模型知识分布，并据此组合训练数据，动态调整领域权重，从而提升LLM的多领域能力。
  3. 实验表明，VersaTune显著提升了LLM的多领域性能，甚至超越了GPT-4o等前沿模型，并能有效缓解领域扩展带来的性能下降。

📝 摘要（中文）

本文提出VersaTune，一种新颖的数据组合框架，旨在提升大型语言模型（LLMs）在训练期间的整体多领域能力。该框架首先检测基础模型中特定领域知识的分布，然后进行训练数据组合，使其与模型现有的知识分布对齐。在随后的训练过程中，领域权重会根据其可学习潜力和遗忘程度进行动态调整。实验结果表明，VersaTune在多领域培养方面是有效的，与统一领域权重相比，整体多能力性能提高了35.21%。Qwen-2.5-32B + VersaTune甚至超越了前沿模型，包括GPT-4o、Claude3.5-Sonnet和DeepSeek-V3，分别提升了0.86%、4.76%和4.60%。此外，在需要灵活扩展特定领域的情况下，VersaTune可将其他领域的性能下降降低38.77%，同时保持目标领域的训练效果。

🔬 方法详解

问题定义：现有的大型语言模型在微调过程中，往往专注于提升特定领域的能力，但容易导致在其他领域知识的遗忘，即“灾难性遗忘”问题。如何在提升特定领域能力的同时，保持或提升模型在其他领域的能力，是本文要解决的核心问题。

核心思路：VersaTune的核心思路是，在训练数据组合和训练过程中，都考虑到模型已有的知识分布和各领域的学习潜力与遗忘程度。通过数据组合对齐现有知识分布，并动态调整领域权重，从而实现多领域能力的均衡提升。

技术框架：VersaTune框架主要包含以下几个阶段：1) 知识分布检测：分析基础模型在各个领域上的知识分布情况。2) 数据组合：根据检测到的知识分布，对训练数据进行组合，使训练数据与模型已有的知识分布相匹配。3) 动态权重调整：在训练过程中，根据各个领域的可学习潜力和遗忘程度，动态调整领域权重，以平衡各领域的学习进度。

关键创新：VersaTune的关键创新在于其动态数据组合和权重调整机制。传统方法通常采用统一的领域权重，而VersaTune能够根据模型自身的知识状态和学习情况，自适应地调整数据组合和权重，从而更有效地提升多领域能力。

关键设计：VersaTune的具体实现细节包括：如何量化知识分布，如何设计数据组合策略，以及如何定义可学习潜力和遗忘程度的指标，并基于这些指标动态调整领域权重。这些设计细节共同保证了VersaTune的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VersaTune在多领域能力提升方面表现出色，相比于使用统一领域权重的基线方法，整体多能力性能提升了35.21%。更令人瞩目的是，使用VersaTune训练的Qwen-2.5-32B模型，在多项评测指标上超越了GPT-4o、Claude3.5-Sonnet和DeepSeek-V3等前沿模型，分别提升了0.86%、4.76%和4.60%。此外，VersaTune还能有效缓解领域扩展带来的性能下降，降低幅度达38.77%。

🎯 应用场景

VersaTune框架可应用于各种需要多领域知识的LLM训练场景，例如通用智能助手、多领域问答系统、跨领域知识推理等。该研究有助于提升LLM的通用性和实用性，使其能够更好地服务于现实世界的复杂任务。未来，该方法可以进一步拓展到多模态LLM的训练中，提升模型在视觉、听觉等多种模态上的综合能力。

📄 摘要（原文）

As demonstrated by the proprietary Large Language Models (LLMs) such as GPT and Claude series, LLMs have the potential to achieve remarkable proficiency across a wide range of domains, including law, medicine, finance, science, code, etc., all within a single model. These capabilities are further augmented during the Supervised Fine-Tuning (SFT) phase. Despite their potential, existing work mainly focuses on domain-specific enhancements during fine-tuning, the challenge of which lies in catastrophic forgetting of knowledge across other domains. In this study, we introduce VersaTune, a novel data composition framework designed for enhancing LLMs' overall multi-domain capabilities during training. We begin with detecting the distribution of domain-specific knowledge within the base model, followed by the training data composition that aligns with the model's existing knowledge distribution. During the subsequent training process, domain weights are dynamically adjusted based on their learnable potential and forgetting degree. Experimental results indicate that VersaTune is effective in multi-domain fostering, with an improvement of 35.21\% in the overall multi-ability performances compared to uniform domain weights. Furthermore, we find that Qwen-2.5-32B + VersaTune even surpasses frontier models, including GPT-4o, Claude3.5-Sonnet and DeepSeek-V3 by 0.86\%, 4.76\% and 4.60\%. Additionally, in scenarios where flexible expansion of a specific domain is required, VersaTune reduces the performance degradation in other domains by 38.77\%, while preserving the training efficacy of the target domain.