The Fellowship of the LLMs: Multi-Model Workflows for Synthetic Preference Optimization Dataset Generation

📄 arXiv: 2408.08688v7 📥 PDF

作者: Samee Arif, Sualeha Farid, Abdul Hameed Azeemi, Awais Athar, Agha Ali Raza

分类: cs.CL, cs.AI

发布日期: 2024-08-16 (更新: 2025-08-14)

💡 一句话要点

提出基于多模型工作流的合成偏好优化数据集生成方法，提升数据集构建效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好优化 数据集生成 多模型工作流 大型语言模型 自动化标注

📋 核心要点

  1. 现有偏好优化数据集依赖人工标注，成本高昂且效率低下，限制了模型训练的规模和速度。
  2. 利用多模型工作流，自动化响应评估和生成过程，降低人工干预，加速数据集构建。
  3. 实验表明，Llama生成、Gemma审查的反馈循环配置，胜率显著高于单模型，验证了方法有效性。

📝 摘要（中文）

本文提出了一种使用多模型工作流生成合成偏好优化（PO）数据集的新方法。我们评估了这些工作流在自动化和增强数据集生成过程中的有效性和潜力。PO数据集生成需要两个模块：（1）$ extit{响应评估}$，和（2）$ extit{响应生成}$。在$ extit{响应评估}$模块中，大型语言模型（LLM）的响应被评估和排序——这项通常由人工注释员执行的任务，我们使用LLM实现自动化。我们通过一个两步过程评估响应评估模块。在第一步中，我们使用三种不同的提示策略评估LLM作为评估者的能力。在第二步中，我们应用最佳提示策略来比较LLM-as-a-Judge、LLMs-as-a-Jury和LLM Debate的性能。我们的评估表明，GPT-4o-as-a-Judge在所有数据集中都更加一致。对于$ extit{响应生成}$模块，我们使用已确定的LLM评估器配置，并比较LLM反馈循环的不同配置。我们使用胜率来确定用于生成的最佳多模型配置。通过实验，我们发现以Llama作为生成器和Gemma作为审查器的LLM反馈循环，分别比单模型Llama和Gemma实现了显著的71.8%和73.8%的胜率。在确定了两个模块的最佳配置后，我们使用上述流程生成我们的PO数据集。

🔬 方法详解

问题定义：论文旨在解决偏好优化（PO）数据集生成过程中人工标注成本高、效率低的问题。现有方法依赖人工对LLM生成的响应进行评估和排序，耗时耗力，难以扩展到大规模数据集。

核心思路：论文的核心思路是利用LLM本身来自动化PO数据集的生成过程，构建一个多模型工作流，将人工标注的任务分解为由不同LLM扮演不同角色的模块，从而降低人工干预，提高数据集生成效率。

技术框架：整体框架包含两个主要模块：响应评估模块和响应生成模块。响应评估模块负责对LLM生成的响应进行评估和排序，通过比较不同的LLM和提示策略，选择最优的评估器。响应生成模块则利用LLM反馈循环，通过生成器和审查器的交互，不断优化生成的响应。最终，将两个模块的最佳配置组合起来，形成完整的PO数据集生成流程。

关键创新：最重要的技术创新在于利用LLM自动化了响应评估过程，摆脱了对人工标注的依赖。通过比较不同的LLM和提示策略，找到了在响应评估方面表现最佳的模型（GPT-4o-as-a-Judge）。此外，LLM反馈循环的引入，使得响应生成过程可以不断迭代优化，进一步提升了数据集的质量。

关键设计：在响应评估模块，论文比较了GPT-4o-as-a-Judge、LLMs-as-a-Jury和LLM Debate三种策略，并评估了不同提示策略的影响。在响应生成模块，论文探索了不同的LLM组合作为生成器和审查器，并使用胜率作为评估指标，最终确定了Llama作为生成器、Gemma作为审查器的配置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4o-as-a-Judge在响应评估方面表现最佳，具有较高的一致性。在响应生成方面，Llama作为生成器、Gemma作为审查器的LLM反馈循环配置，分别比单模型Llama和Gemma实现了显著的71.8%和73.8%的胜率，验证了多模型工作流的有效性。

🎯 应用场景

该研究成果可广泛应用于各种需要偏好优化数据集的场景，例如对话系统、文本摘要、代码生成等。通过自动化数据集生成，可以降低模型训练成本，加速模型迭代，并促进相关领域的发展。未来，该方法还可以扩展到其他类型的数据集生成任务。

📄 摘要（原文）

This paper presents a novel methodology for generating synthetic Preference Optimization (PO) datasets using multi-model workflows. We evaluate the effectiveness and potential of these workflows in automating and enhancing the dataset generation process. PO dataset generation requires two modules: (1) $\textit{response evaluation}$, and (2) $\textit{response generation}$. In the $\textit{response evaluation}$ module, the responses from Large Language Models (LLMs) are evaluated and ranked - a task typically carried out by human annotators that we automate using LLMs. We assess the response evaluation module in a 2 step process. In step 1, we assess LLMs as evaluators using three distinct prompting strategies. In step 2, we apply the winning prompting strategy to compare the performance of LLM-as-a-Judge, LLMs-as-a-Jury, and LLM Debate. Our evaluation shows that GPT-4o-as-a-Judge is more consistent across all datasets. For the $\textit{response generation}$ module, we use the identified LLM evaluator configuration and compare different configurations of the LLM Feedback Loop. We use the win rate to determine the best multi-model configuration for generation. Experimenting with various configurations, we find that the LLM Feedback Loop, with Llama as the generator and Gemma as the reviewer, achieves a notable 71.8% and 73.8% win rate over single-model Llama and Gemma, respectively. After identifying the best configurations for both modules, we generate our PO datasets using the above pipeline.