Optimas: Optimizing Compound AI Systems with Globally Aligned Local Rewards

📄 arXiv: 2507.03041v3 📥 PDF

作者: Shirley Wu, Parth Sarthi, Shiyu Zhao, Aaron Lee, Herumb Shandilya, Adrian Mladenic Grobelnik, Nurendra Choudhary, Eddie Huang, Karthik Subbian, Linjun Zhang, Diyi Yang, James Zou, Jure Leskovec

分类: cs.LG, cs.AI

发布日期: 2025-07-03 (更新: 2025-10-05)

备注: 21 pages

💡 一句话要点

Optimas：通过全局对齐的局部奖励优化复合AI系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合AI系统 优化算法 局部奖励函数 全局对齐 大型语言模型 机器学习模型 异构系统

📋 核心要点

  1. 现有复合AI系统优化方法难以处理不可微结构和组件配置多样性，导致优化困难。
  2. Optimas通过为每个组件维护局部奖励函数，并使其与全局系统性能对齐，实现有效优化。
  3. 实验表明，Optimas在多个真实复合AI系统上优于现有方法，平均性能提升11.92%。

📝 摘要（中文）

复合AI系统，如集成大型语言模型、专用工具和传统机器学习模型的系统，正日益被部署以解决复杂的现实世界任务。然而，由于其不可微结构和跨组件的多样化配置类型（包括提示、超参数和模型参数），优化复合系统仍然具有挑战性。为了应对这一挑战，我们提出了Optimas，一个用于有效优化复合系统的统一框架。Optimas的核心思想是为每个组件维护一个局部奖励函数（LRF），每个函数都满足局部-全局对齐属性，即每个组件的局部奖励与全局系统性能相关。在每次迭代中，Optimas有效地调整LRF以保持此属性，同时最大化每个组件的局部奖励。这种方法允许使用指定的优化方法独立更新异构配置，同时确保局部改进始终带来性能提升。我们在五个真实世界的复合系统上进行了广泛的评估，证明Optimas优于强大的基线，平均提升11.92%，为改进复合系统提供了一种通用且有效的方法。

🔬 方法详解

问题定义：论文旨在解决复合AI系统优化的问题。现有方法的主要痛点在于复合系统通常具有不可微的结构，并且各个组件的配置类型（如提示、超参数、模型参数）各不相同，这使得联合优化变得非常困难。传统的优化方法难以直接应用于此类系统，需要针对每个组件单独设计优化策略，效率低下且难以保证全局最优。

核心思路：Optimas的核心思路是为复合系统中的每个组件维护一个局部奖励函数（Local Reward Function, LRF）。关键在于，每个LRF需要满足“局部-全局对齐”的性质，即组件的局部奖励与整个系统的全局性能相关联。通过优化每个组件的LRF，可以间接地提升整个系统的性能。这种方法将复杂的全局优化问题分解为多个相对简单的局部优化问题。

技术框架：Optimas的整体框架包含以下几个主要步骤：1) 初始化：为每个组件初始化一个LRF。2) 迭代优化：在每次迭代中，首先评估当前系统性能，然后根据系统性能调整每个组件的LRF，使其更好地与全局性能对齐。同时，使用指定的优化方法（如梯度下降、进化算法等）最大化每个组件的局部奖励。3) 组件更新：根据局部奖励的优化结果，更新每个组件的配置（如提示、超参数、模型参数）。4) 循环：重复步骤2和3，直到达到预定的迭代次数或系统性能收敛。

关键创新：Optimas的关键创新在于提出了“局部-全局对齐”的局部奖励函数概念。通过维护和调整这些LRF，Optimas能够将全局优化问题分解为多个局部优化问题，从而简化了优化过程。与传统的全局优化方法相比，Optimas能够更有效地处理复合系统的复杂性和异构性。此外，Optimas允许使用不同的优化方法来优化不同的组件，提供了更大的灵活性。

关键设计：LRF的设计是Optimas的关键。论文中并没有明确指定LRF的具体形式，而是强调了其需要满足“局部-全局对齐”的性质。具体实现时，可以根据不同的组件和任务选择合适的LRF形式，例如，可以使用一个简单的线性模型，将组件的输出映射到局部奖励；也可以使用一个更复杂的神经网络模型，学习组件输出与全局性能之间的关系。LRF的调整策略也至关重要，可以使用梯度下降等方法，根据全局性能的反馈来更新LRF的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Optimas在五个真实世界的复合AI系统上均取得了显著的性能提升，平均提升幅度达到11.92%。与多种基线方法相比，Optimas表现出更强的优化能力和更好的泛化性能。这些结果验证了Optimas的有效性和通用性，表明其是一种有前景的复合AI系统优化方法。

🎯 应用场景

Optimas可应用于各种复合AI系统，例如：集成大型语言模型和外部工具的问答系统、包含多个机器学习模型的推荐系统、以及涉及复杂决策流程的机器人控制系统。该方法能够提升这些系统的性能和效率，降低开发和维护成本，加速AI技术在各行业的落地应用。

📄 摘要（原文）

Compound AI systems integrating multiple components, such as Large Language Models, specialized tools, and traditional machine learning models, are increasingly deployed to solve complex real-world tasks. However, optimizing compound systems remains challenging due to their non-differentiable structures and diverse configuration types across components, including prompts, hyperparameters, and model parameters. To address this challenge, we propose Optimas, a unified framework for effective optimization of compound systems. The core idea of Optimas is to maintain one Local Reward Function (LRF) per component, each satisfying a local-global alignment property, i.e., each component's local reward correlates with the global system performance. In each iteration, Optimas efficiently adapts the LRFs to maintain this property while simultaneously maximizing each component's local reward. This approach enables independent updates of heterogeneous configurations using the designated optimization method, while ensuring that local improvements consistently lead to performance gains. We present extensive evaluations across five real-world compound systems to demonstrate that Optimas outperforms strong baselines by an average improvement of 11.92%, offering a general and effective approach for improving compound systems. Our website is at https://optimas.stanford.edu.