Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models

📄 arXiv: 2503.23714v2 📥 PDF

作者: Youmi Ma, Sakae Mizuki, Kazuki Fujii, Taishi Nakamura, Masanari Ohi, Hinari Shimada, Taihei Shiotani, Koshiro Saito, Koki Maeda, Kakeru Hattori, Takumi Okamoto, Shigeki Ishida, Rio Yokota, Hiroya Takamura, Naoaki Okazaki

分类: cs.CL

发布日期: 2025-03-31 (更新: 2025-08-14)

备注: COLM 2025; Datasets are available at https://huggingface.co/datasets/tokyotech-llm/lmsys-chat-1m-synth

💡 一句话要点

利用开源大语言模型和人工指令构建高质量指令微调数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令微调 大型语言模型 开源模型 数据集构建 多语言学习

📋 核心要点

  1. 现有指令微调方法依赖于LLM合成数据，但缺乏人类知识，限制了模型在特定文化背景下的表现。
  2. 该论文提出一种新方法，将人工编写的指令与LLM生成的回复相结合，构建高质量的指令微调数据集。
  3. 实验结果表明，使用该数据集微调的LLM在性能上优于现有方法，并在日语等语言上取得了SOTA结果。

📝 摘要（中文）

指令微调对于使大型语言模型（LLMs）能够解决现实世界任务至关重要。先前的工作表明，仅从LLM合成的指令微调数据是有效的，这提出了一个根本问题：我们是否仍然需要源自人类的信号来进行指令微调？这项工作肯定地回答了这个问题：我们通过简单地将人类编写的指令与LLM生成的响应配对，构建了最先进的源自人类指令的指令微调数据集。在我们的数据集上微调的LLM始终优于在现有数据集上微调的LLM。我们的数据构建方法可以很容易地适应其他语言；我们构建了日语数据集，并证实使用我们的数据调整的LLM达到了最先进的性能。分析表明，以一种新语言进行指令微调可以使LLM遵循指令，但调整后的模型在该语言中明显缺乏特定于文化的知识。数据集和微调模型将公开提供。我们的数据集由开源LLM合成，并在宽松的许可下公开分发，从而可以实现多样化的用例。

🔬 方法详解

问题定义：现有指令微调方法主要依赖于两种数据来源：一是完全由人类专家编写的指令数据，成本高昂且难以扩展；二是完全由大型语言模型（LLM）生成的数据，虽然成本较低，但可能缺乏人类的知识和创造力，尤其是在特定文化背景下的知识。因此，如何高效地构建高质量的指令微调数据集，同时兼顾成本和性能，是一个重要的挑战。

核心思路：该论文的核心思路是结合人类编写的指令和LLM生成的回复，利用LLM的生成能力来扩展人工指令数据。具体来说，他们收集了人类编写的指令，然后使用开源LLM为这些指令生成回复。这种方法既保留了人类指令的质量，又利用了LLM的生成能力来降低数据构建的成本。

技术框架：该方法主要包含两个阶段：1) 指令收集阶段：收集人工编写的指令数据。这些指令可以来自各种来源，例如现有的数据集、众包平台等。2) 回复生成阶段：使用开源LLM为收集到的指令生成回复。为了保证回复的质量，可以使用一些策略，例如prompt工程、过滤等。最终，将人工指令和LLM生成的回复配对，构建成指令微调数据集。

关键创新：该论文的关键创新在于提出了一个简单而有效的方法，将人工指令和LLM生成回复相结合，构建高质量的指令微调数据集。这种方法既降低了数据构建的成本，又保留了人类指令的质量。此外，该论文还探索了使用该方法构建多语言指令微调数据集的可能性，并验证了其有效性。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但是，可以推断，在回复生成阶段，需要选择合适的开源LLM，并设计有效的prompt来引导LLM生成高质量的回复。此外，可能还需要使用一些过滤策略来去除LLM生成的低质量回复。在微调阶段，可以使用标准的指令微调方法，例如使用交叉熵损失函数来训练LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该论文提出的方法构建的指令微调数据集，可以显著提升LLM的性能。例如，在日语指令微调任务上，使用该数据集微调的LLM取得了SOTA结果。此外，实验还表明，使用该数据集微调的LLM在遵循指令方面表现更好，但在特定文化背景下的知识方面仍有不足。

🎯 应用场景

该研究成果可广泛应用于各种需要指令遵循能力的自然语言处理任务，例如对话系统、文本摘要、机器翻译等。通过构建高质量的指令微调数据集，可以提升LLM在这些任务上的性能，并使其更好地理解和执行人类指令。此外，该方法还可以用于构建多语言指令微调数据集，从而提升LLM在不同语言环境下的表现。

📄 摘要（原文）

Instruction tuning is crucial for enabling Large Language Models (LLMs) to solve real-world tasks. Prior work has shown the effectiveness of instruction-tuning data synthesized solely from LLMs, raising a fundamental question: Do we still need human-originated signals for instruction tuning? This work answers the question affirmatively: we build state-of-the-art instruction-tuning datasets sourced from human-written instructions, by simply pairing them with LLM-generated responses. LLMs fine-tuned on our datasets consistently outperform those fine-tuned on existing ones. Our data construction approach can be easily adapted to other languages; we build datasets for Japanese and confirm that LLMs tuned with our data reach state-of-the-art performance. Analyses suggest that instruction-tuning in a new language allows LLMs to follow instructions, while the tuned models exhibit a notable lack of culture-specific knowledge in that language. The datasets and fine-tuned models will be publicly available. Our datasets, synthesized with open-weight LLMs, are openly distributed under permissive licenses, allowing for diverse use cases.