Improving Model Alignment Through Collective Intelligence of Open-Source LLMS

📄 arXiv: 2505.03059v1 📥 PDF

作者: Junlin Wang, Roy Xie, Shang Zhu, Jue Wang, Ben Athiwaratkun, Bhuwan Dhingra, Shuaiwen Leon Song, Ce Zhang, James Zou

分类: cs.CL

发布日期: 2025-05-05

备注: ICML 2025

💡 一句话要点

提出MoAA：利用开源LLM的集体智慧提升模型对齐效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型对齐 大型语言模型 开源LLM 合成数据 集体智慧

📋 核心要点

  1. 现有模型对齐方法依赖昂贵且受限的人工标注数据，难以保证多样性和泛化性。
  2. MoAA利用多个开源LLM的集体智慧生成高质量对齐数据，提升模型微调和偏好优化效果。
  3. 实验表明，MoAA显著提升了LLaMA-3.1-8B-Instruct在Arena-Hard和AlpacaEval2上的胜率。

📝 摘要（中文）

构建有帮助且无害的大型语言模型（LLM）需要基于人类指令和反馈的有效模型对齐方法，这需要高质量的人工标注数据。构建此类数据集通常成本高昂且难以扩展，并且可能面临多样性和泛化方面的潜在限制。为了解决这些挑战，我们引入了混合代理对齐（MoAA），它利用各种语言模型的集体优势来为模型对齐提供高质量的数据。通过采用MoAA，我们增强了监督微调和偏好优化，与单独使用单个模型生成对齐数据（例如，单独使用GPT-4o）相比，从而提高了性能。评估结果表明，我们的方法可以将LLaMA-3.1-8B-Instruct在Arena-Hard上的胜率从19.5提高到48.3，在AlpacaEval2上的胜率从22.33提高到57.23，突出了通过这种新的可扩展和多样化的合成数据配方进行模型对齐的有希望的方向。此外，我们证明了MoAA能够实现自我改进的流水线，在MoA生成的数据上进行微调的模型超过了其自身的初始能力，这为我们的方法可以在不依赖更强的外部监督的情况下推动开源LLM的前沿提供了证据。数据和代码将会开源。

🔬 方法详解

问题定义：论文旨在解决模型对齐过程中对高质量人工标注数据依赖的问题。现有方法依赖于人工标注，成本高昂，难以扩展，并且可能存在数据多样性和泛化性不足的局限。这些问题限制了大型语言模型（LLM）在实际应用中的表现，尤其是在需要安全和有益回复的场景下。

核心思路：论文的核心思路是利用多个开源LLM的集体智慧，生成高质量的合成数据用于模型对齐。通过将不同的LLM视为不同的“代理”，并让它们协同生成数据，可以有效提高数据的多样性和质量，从而改善模型对齐的效果。这种方法旨在降低对人工标注数据的依赖，并提供一种更具可扩展性和成本效益的解决方案。

技术框架：MoAA的整体框架包含以下几个主要阶段：1) 提示工程：设计合适的提示，引导不同的LLM代理生成对齐数据。2) 数据生成：使用不同的LLM代理，根据提示生成多个候选回复。3) 数据选择/过滤：对生成的候选回复进行评估和筛选，选择高质量的数据用于后续的微调或偏好优化。4) 模型训练：使用筛选后的数据对目标模型进行监督微调或偏好优化，提升模型的对齐效果。

关键创新：MoAA的关键创新在于利用多个开源LLM的集体智慧来生成对齐数据，而不是依赖于单个模型或人工标注。这种方法能够有效提高数据的多样性和质量，并且具有更好的可扩展性。与现有方法相比，MoAA提供了一种更具成本效益和可扩展性的模型对齐解决方案。

关键设计：MoAA的关键设计包括：1) 代理选择：选择具有不同特点和能力的LLM作为代理，以确保生成数据的多样性。2) 提示策略：设计有效的提示策略，引导代理生成高质量的对齐数据，例如，使用不同的指令风格或引入对抗性提示。3) 数据评估指标：设计合适的评估指标，用于评估生成数据的质量，例如，使用基于模型的自动评估指标或人工评估。4) 混合策略：探索不同的混合策略，将来自不同代理的数据进行组合，以进一步提高数据的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MoAA生成的数据进行微调，可以将LLaMA-3.1-8B-Instruct在Arena-Hard上的胜率从19.5%提高到48.3%，在AlpacaEval2上的胜率从22.33%提高到57.23%。这些结果表明，MoAA能够显著提升模型的对齐效果，并且优于单独使用GPT-4o生成数据的方法。此外，通过MoAA实现的自我改进流水线，模型能够超越自身的初始能力。

🎯 应用场景

MoAA方法可广泛应用于各种需要模型对齐的场景，例如对话系统、智能助手、内容生成等。通过降低对人工标注数据的依赖，MoAA可以加速LLM的开发和部署，并提高其在实际应用中的安全性和可靠性。该方法还有助于推动开源LLM的发展，使其能够更好地服务于社会。

📄 摘要（原文）

Building helpful and harmless large language models (LLMs) requires effective model alignment approach based on human instructions and feedback, which necessitates high-quality human-labeled data. Constructing such datasets is often expensive and hard to scale, and may face potential limitations on diversity and generalization. To address these challenges, we introduce Mixture of Agents Alignment (MoAA), that leverages the collective strengths of various language models to provide high-quality data for model alignment. By employing MoAA, we enhance both supervised fine-tuning and preference optimization, leading to improved performance compared to using a single model alone to generate alignment data (e.g. using GPT-4o alone). Evaluation results show that our approach can improve win rate of LLaMA-3.1-8B-Instruct from 19.5 to 48.3 on Arena-Hard and from 22.33 to 57.23 on AlpacaEval2, highlighting a promising direction for model alignment through this new scalable and diverse synthetic data recipe. Furthermore, we demonstrate that MoAA enables a self-improvement pipeline, where models finetuned on MoA-generated data surpass their own initial capabilities, providing evidence that our approach can push the frontier of open-source LLMs without reliance on stronger external supervision. Data and code will be released.