Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement

📄 arXiv: 2501.12273v1 📥 PDF

作者: Maosong Cao, Taolin Zhang, Mo Li, Chuyu Zhang, Yunxin Liu, Haodong Duan, Songyang Zhang, Kai Chen

分类: cs.CL, cs.AI

发布日期: 2025-01-21

备注: Tech Report. Github: https://github.com/InternLM/Condor

💡 一句话要点

Condor：利用知识驱动的数据合成与优化提升LLM对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监督微调 数据合成 知识图谱 自我反思

📋 核心要点

  1. 高质量人工标注SFT数据稀缺，成为提升LLM对话能力的关键瓶颈，亟需有效的合成数据生成方法。
  2. Condor框架通过结合世界知识树和自我反思优化，分阶段生成高质量的合成SFT数据。
  3. 实验表明，仅用2万Condor生成样本微调的模型性能优于其他模型，验证了该方法的有效性，并揭示了合成数据扩展的潜力。

📝 摘要（中文）

监督微调(SFT)数据的质量在提升大型语言模型(LLM)的对话能力方面起着至关重要的作用。然而，随着LLM变得越来越先进，高质量的人工标注SFT数据的可用性已成为一个重要的瓶颈，这使得人们更加依赖合成训练数据。在这项工作中，我们介绍了一种新颖的两阶段合成数据生成框架Condor，该框架结合了世界知识树和自我反思优化，以大规模生成高质量的SFT数据。我们的实验结果表明，仅在2万个Condor生成的样本上进行微调的基础模型，其性能优于其他模型。Condor中的额外优化阶段进一步实现了各种规模（高达72B）的LLM的迭代自我改进，验证了我们方法的有效性。此外，我们对后训练中合成数据扩展的研究揭示了性能改进的巨大未开发潜力，为未来的研究开辟了有希望的途径。

🔬 方法详解

问题定义：论文旨在解决高质量监督微调（SFT）数据不足的问题，尤其是在大型语言模型（LLM）领域。现有方法依赖人工标注或简单的合成数据，前者成本高昂且难以扩展，后者质量难以保证，无法有效提升LLM的对话能力和对齐效果。

核心思路：Condor的核心思路是利用世界知识树（World Knowledge Tree）引导数据生成，并采用自我反思（Self-Reflection）机制对生成的数据进行优化，从而在保证数据质量的前提下，实现大规模的合成数据生成。这种方法旨在弥补人工标注数据的不足，并提升LLM的性能。

技术框架：Condor框架包含两个主要阶段：1) 知识驱动的数据合成：利用世界知识树，例如ConceptNet，生成多样化的对话场景和问题。2) 自我反思优化：使用LLM自身对生成的数据进行评估和改进，通过迭代的方式提升数据质量。整个流程可以看作是一个生成-评估-改进的循环。

关键创新：Condor的关键创新在于将世界知识树和自我反思机制相结合，用于合成SFT数据。与传统的数据增强方法相比，Condor能够生成更具结构化和知识性的数据，从而更好地训练LLM。自我反思机制则能够有效地过滤和优化生成的数据，提高数据质量。

关键设计：在知识驱动的数据合成阶段，论文可能使用了特定的prompt模板或采样策略，以确保生成数据的多样性和相关性。在自我反思优化阶段，可能使用了特定的奖励模型或损失函数，以引导LLM生成更符合人类偏好的数据。具体的参数设置和网络结构等细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

实验结果表明，仅使用2万个Condor生成的样本进行微调，基础模型的性能就优于其他模型。Condor中的优化阶段进一步实现了LLM在不同规模（高达72B）上的迭代自我改进，验证了该方法的有效性。此外，对后训练中合成数据扩展的研究揭示了性能改进的巨大潜力。

🎯 应用场景

Condor框架可应用于各种需要高质量对话数据的场景，例如智能客服、聊天机器人、教育辅助等。通过Condor，可以低成本地生成大量高质量的训练数据，从而提升LLM在这些领域的应用效果。此外，该方法还可以用于提升LLM的通用对话能力和对齐效果，使其更好地服务于人类。

📄 摘要（原文）

The quality of Supervised Fine-Tuning (SFT) data plays a critical role in enhancing the conversational capabilities of Large Language Models (LLMs). However, as LLMs become more advanced, the availability of high-quality human-annotated SFT data has become a significant bottleneck, necessitating a greater reliance on synthetic training data. In this work, we introduce Condor, a novel two-stage synthetic data generation framework that incorporates World Knowledge Tree and Self-Reflection Refinement to produce high-quality SFT data at scale. Our experimental results demonstrate that a base model fine-tuned on only 20K Condor-generated samples achieves superior performance compared to counterparts. The additional refinement stage in Condor further enables iterative self-improvement for LLMs at various scales (up to 72B), validating the effectiveness of our approach. Furthermore, our investigation into the scaling for synthetic data in post-training reveals substantial unexplored potential for performance improvements, opening promising avenues for future research.