Orchestrating Agents and Data for Enterprise: A Blueprint Architecture for Compound AI
作者: Eser Kandogan, Nikita Bhutani, Dan Zhang, Rafael Li Chen, Sairam Gurajada, Estevam Hruschka
分类: cs.AI, cs.DB, cs.DC, cs.LG
发布日期: 2025-04-10
期刊: First Workshop on Data-AI Systems (DAIS), ICDE 2025
💡 一句话要点
面向企业级应用的复合AI蓝图架构：通过编排Agent与数据提升LLM应用能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 复合AI Agent编排 企业应用 蓝图架构 数据流 服务质量 LLM应用
📋 核心要点
- 现有LLM应用面临集成、专有数据利用、成本控制等挑战，单体模型难以满足企业需求。
- 论文提出复合AI蓝图架构，通过Agent和数据编排，实现更强大、通用和可靠的企业应用。
- 该架构通过Agent注册表、数据注册表和流式编排，优化任务规划，满足服务质量要求。
📝 摘要（中文）
大型语言模型(LLM)因其在广泛任务中的出色能力而备受工业界关注。然而，LLM的广泛应用面临诸多挑战，例如集成到现有应用和基础设施中，利用公司专有数据、模型和API，以及满足成本、质量、响应速度等要求。为了应对这些挑战，业界正从单体模型转向复合AI系统，以期实现更强大、通用和可靠的应用。然而，目前的进展是零散的，仅提出了Agent工作流、编程模型和扩展的LLM能力，缺乏对整体架构的清晰愿景。本文提出了一个“蓝图架构”，用于编排Agent和数据，以构建企业应用的复合AI系统。在该架构中，关键的编排概念是“流”，用于协调Agent之间的数据和指令流动。企业中现有的专有模型和API被映射到“Agent”，并在“Agent注册表”中定义，该注册表提供Agent元数据和学习到的表示，用于搜索和规划。Agent可以通过“数据注册表”利用专有数据，该注册表类似地注册各种模态的企业数据。数据和任务“规划器”将任务和查询分解、映射和优化，以满足给定的服务质量(QoS)要求，如成本、准确性和延迟。我们通过在人力资源领域的用例中实现该架构，并讨论了企业中“Agentic AI”的机会和挑战。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）在企业应用中面临集成困难、无法有效利用企业专有数据、成本高昂以及难以满足特定服务质量（QoS）要求等问题。传统的单体LLM架构难以适应企业复杂多变的需求，缺乏灵活性和可扩展性。
核心思路：论文的核心思路是将企业内部的各种模型、API和数据资源抽象为“Agent”，并通过统一的“流”机制进行编排和调度。这种“Agentic AI”方法能够充分利用企业现有的资产，并根据任务需求动态组合不同的Agent，从而实现更高效、更灵活的AI应用。
技术框架：该复合AI系统的蓝图架构包含以下主要模块：1) Agent注册表：用于注册和管理企业内部的各种Agent，包括模型、API等。2) 数据注册表：用于注册和管理企业内部的各种数据资源，支持多模态数据。3) 流（Streams）：用于协调Agent之间的数据和指令流动，实现任务的分解和执行。4) 数据和任务规划器：根据任务需求和QoS要求，对任务进行分解、映射和优化，选择合适的Agent组合和数据资源。
关键创新：该架构的关键创新在于提出了“流”的概念，作为Agent之间通信和协作的核心机制。通过流，可以实现任务的动态分解和调度，并根据QoS要求进行优化。此外，Agent注册表和数据注册表的设计，使得企业能够更好地管理和利用其内部的AI资产。
关键设计：Agent注册表包含Agent的元数据和学习到的表示，用于搜索和规划。数据注册表注册各种模态的企业数据。数据和任务规划器根据成本、准确性和延迟等QoS要求，对任务进行分解、映射和优化。具体的技术细节，如Agent的定义方式、流的实现机制、规划器的算法等，在论文中没有详细展开，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文通过在人力资源领域的用例中实现了该架构，验证了其可行性和有效性。虽然论文中没有提供具体的性能数据和对比基线，但该用例表明，该架构能够有效地解决企业内部的实际问题，并为企业构建AI应用提供了一种新的思路。具体的性能提升幅度未知。
🎯 应用场景
该研究成果可应用于企业内部的各种AI应用场景，例如人力资源管理、客户服务、供应链优化等。通过将企业内部的各种模型、API和数据资源整合为Agent，并进行统一的编排和调度，可以实现更高效、更灵活的AI应用，提升企业的运营效率和竞争力。未来，该架构有望成为企业构建AI应用的标准蓝图。
📄 摘要（原文）
Large language models (LLMs) have gained significant interest in industry due to their impressive capabilities across a wide range of tasks. However, the widespread adoption of LLMs presents several challenges, such as integration into existing applications and infrastructure, utilization of company proprietary data, models, and APIs, and meeting cost, quality, responsiveness, and other requirements. To address these challenges, there is a notable shift from monolithic models to compound AI systems, with the premise of more powerful, versatile, and reliable applications. However, progress thus far has been piecemeal, with proposals for agentic workflows, programming models, and extended LLM capabilities, without a clear vision of an overall architecture. In this paper, we propose a 'blueprint architecture' for compound AI systems for orchestrating agents and data for enterprise applications. In our proposed architecture the key orchestration concept is 'streams' to coordinate the flow of data and instructions among agents. Existing proprietary models and APIs in the enterprise are mapped to 'agents', defined in an 'agent registry' that serves agent metadata and learned representations for search and planning. Agents can utilize proprietary data through a 'data registry' that similarly registers enterprise data of various modalities. Tying it all together, data and task 'planners' break down, map, and optimize tasks and queries for given quality of service (QoS) requirements such as cost, accuracy, and latency. We illustrate an implementation of the architecture for a use-case in the HR domain and discuss opportunities and challenges for 'agentic AI' in the enterprise.