ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization

📄 arXiv: 2502.04306v1 📥 PDF

作者: Yinjie Wang, Ling Yang, Guohao Li, Mengdi Wang, Bryon Aragam

分类: cs.CL

发布日期: 2025-02-06

备注: Project: https://github.com/Gen-Verse/ScoreFlow

🔗 代码/项目: GITHUB

💡 一句话要点

ScoreFlow：通过基于分数的偏好优化提升LLM Agent工作流性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 工作流优化 偏好优化 梯度优化 Score-DPO 自动化任务规划 连续空间优化

📋 核心要点

  1. 现有LLM Agent工作流优化方法在表征能力、适应性和可扩展性方面存在局限，难以满足复杂任务需求。
  2. ScoreFlow通过在连续空间中进行高效的梯度优化，并结合考虑定量反馈的Score-DPO方法，提升工作流性能。
  3. 实验结果表明，ScoreFlow在多个基准测试中显著优于现有方法，并能使小模型超越大模型。

📝 摘要（中文）

最近的研究利用大型语言模型多智能体系统来解决复杂的难题，同时试图减少构建它们所需的人工工作量，从而推动了自动化智能体工作流优化方法的发展。然而，由于表征的局限性、缺乏适应性以及依赖离散优化技术时较差的可扩展性，现有方法仍然不够灵活。我们提出了ScoreFlow来解决这些挑战，这是一个简单但高性能的框架，它利用连续空间中高效的基于梯度的优化。ScoreFlow 结合了 Score-DPO，这是直接偏好优化方法的一种新变体，它考虑了定量反馈。在涵盖问题解答、编码和数学推理的六个基准测试中，ScoreFlow 比现有基线提高了 8.2%。此外，它使较小的模型能够以较低的推理成本胜过较大的模型。项目地址：https://github.com/Gen-Verse/ScoreFlow

🔬 方法详解

问题定义：现有的大语言模型智能体工作流优化方法，通常依赖于离散优化技术，导致可扩展性差，难以处理复杂的工作流程。此外，这些方法在表征能力和适应性方面存在局限，无法充分利用定量反馈信息，导致优化效果不佳。

核心思路：ScoreFlow的核心思路是将智能体工作流的优化问题转化为一个连续空间的优化问题，从而可以利用高效的梯度优化算法。通过引入Score-DPO，一种改进的直接偏好优化方法，ScoreFlow能够有效地利用定量反馈信息，从而更好地指导工作流的优化过程。

技术框架：ScoreFlow框架主要包括以下几个阶段：1) 工作流表示：将智能体工作流表示为连续空间中的向量。2) 偏好学习：利用Score-DPO算法，根据定量反馈学习工作流的偏好模型。3) 梯度优化：利用梯度优化算法，根据偏好模型优化工作流的表示向量。4) 工作流生成：将优化后的表示向量解码为实际的智能体工作流。

关键创新：ScoreFlow的关键创新在于将智能体工作流的优化问题转化为连续空间的优化问题，并引入了Score-DPO算法。与传统的离散优化方法相比，ScoreFlow具有更好的可扩展性和适应性。Score-DPO能够有效地利用定量反馈信息，从而更好地指导工作流的优化过程。

关键设计：Score-DPO算法是ScoreFlow的关键组成部分。它基于DPO（Direct Preference Optimization），但针对定量反馈进行了改进。具体来说，Score-DPO使用一个评分函数来评估工作流的质量，并利用这个评分函数来指导偏好模型的学习。损失函数的设计目标是最大化高质量工作流的概率，同时最小化低质量工作流的概率。此外，ScoreFlow还采用了合适的网络结构和参数设置，以确保优化过程的稳定性和效率。

🖼️ 关键图片

img_0

📊 实验亮点

ScoreFlow在六个基准测试（包括问题解答、编码和数学推理）中，相较于现有基线方法取得了平均8.2%的性能提升。更重要的是，ScoreFlow能够使规模较小的模型在性能上超越更大的模型，同时降低了推理成本。这些实验结果充分证明了ScoreFlow的有效性和优越性。

🎯 应用场景

ScoreFlow具有广泛的应用前景，可用于自动化任务规划、智能客服、代码生成、数学推理等领域。通过优化LLM Agent工作流，ScoreFlow能够显著提高问题解决的效率和质量，降低人工干预成本，并赋能小模型超越大模型，降低推理成本。未来，ScoreFlow有望成为构建高效、智能的LLM Agent系统的关键技术。

📄 摘要（原文）

Recent research has leveraged large language model multi-agent systems for complex problem-solving while trying to reduce the manual effort required to build them, driving the development of automated agent workflow optimization methods. However, existing methods remain inflexible due to representational limitations, a lack of adaptability, and poor scalability when relying on discrete optimization techniques. We address these challenges with ScoreFlow, a simple yet high-performance framework that leverages efficient gradient-based optimization in a continuous space. ScoreFlow incorporates Score-DPO, a novel variant of the direct preference optimization method that accounts for quantitative feedback. Across six benchmarks spanning question answering, coding, and mathematical reasoning, ScoreFlow achieves an 8.2% improvement over existing baselines. Moreover, it empowers smaller models to outperform larger ones with lower inference costs. Project: https://github.com/Gen-Verse/ScoreFlow