Sibyl: Simple yet Effective Agent Framework for Complex Real-world Reasoning

📄 arXiv: 2407.10718v2 📥 PDF

作者: Yulong Wang, Tianhao Shen, Lifeng Liu, Jian Xie

分类: cs.AI, cs.CL

发布日期: 2024-07-15 (更新: 2024-07-16)

备注: Our code is available at https://github.com/Ag2S1/Sibyl-System

💡 一句话要点

Sibyl：一种简单而有效的Agent框架，用于复杂的现实世界推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 复杂推理 全局工作空间 心智社会理论 多Agent辩论 知识管理 GAIA基准测试

📋 核心要点

  1. 现有Agent在长期推理和工具利用方面存在不足，难以应对复杂现实场景。
  2. Sibyl框架借鉴全局工作空间和心智社会理论，通过全局知识共享和多Agent辩论提升推理能力。
  3. 实验表明，Sibyl在GAIA基准测试中取得了SOTA性能，平均得分达到34.55%。

📝 摘要（中文）

现有的基于大型语言模型（LLM）的Agent通过整合LLM的固有知识、强大的上下文学习和零样本能力，以及结合人类精心设计的LLM调用工作流程的工具，展现了强大的问题解决能力。然而，这些Agent在长期推理方面仍然存在不足，并且未能充分利用现有工具的潜力，导致在复杂的现实世界推理场景中存在明显的缺陷。为了解决这些限制，我们引入了Sibyl，一个简单而强大的基于LLM的Agent框架，旨在通过有效地利用最少的工具来处理复杂的推理任务。Sibyl从全局工作空间理论中汲取灵感，整合了一个全局工作空间，以增强整个系统中知识和对话历史的管理和共享。此外，在心智社会理论的指导下，Sibyl实现了一个基于多Agent辩论的陪审团来自我完善最终答案，确保全面和平衡的方法。这种方法旨在降低系统复杂性，同时扩大可解决问题的范围——从通常由人类在几分钟内解决的问题到需要数小时甚至数天的问题，从而促进从系统1思维到系统2思维的转变。Sibyl的设计重点是可扩展性和易于调试，从一开始就融入了函数式编程中的重入概念，旨在与其他LLM应用程序无缝且轻松地集成，以提高能力。我们在GAIA基准测试集上的实验结果表明，使用GPT-4实例化的Sibyl Agent实现了最先进的性能，平均得分为34.55%，与其他基于GPT-4的Agent相比。我们希望Sibyl能够激发更可靠和可重用的基于LLM的Agent解决方案，以解决复杂的现实世界推理任务。

🔬 方法详解

问题定义：现有基于LLM的Agent在处理需要长期推理和复杂工具调用的现实世界问题时表现不佳。它们往往难以有效管理和利用知识，并且缺乏自我完善和纠错的能力。这导致在需要深思熟虑和多步骤推理的场景中，性能显著下降。

核心思路：Sibyl的核心思路是借鉴认知科学中的全局工作空间理论和心智社会理论，构建一个更有效、更可控的Agent框架。通过全局工作空间实现知识的共享和管理，通过多Agent辩论机制实现自我反思和优化，从而提升Agent的推理能力和问题解决能力。

技术框架：Sibyl框架主要包含以下几个核心模块：1) 全局工作空间：用于存储和管理Agent的知识、对话历史和中间推理结果。2) 工具集：提供Agent所需的各种工具，例如搜索引擎、计算器等。3) 多Agent辩论陪审团：由多个Agent组成，每个Agent独立进行推理，然后通过辩论和投票来达成共识，最终生成答案。4) 控制器：负责协调各个模块的工作，并根据任务需求动态调整Agent的行为。

关键创新：Sibyl的关键创新在于将全局工作空间理论和心智社会理论引入到LLM Agent的设计中。通过全局工作空间，Agent可以更好地管理和利用知识，避免信息孤岛和重复计算。通过多Agent辩论机制，Agent可以进行自我反思和优化，提高答案的准确性和可靠性。此外，Sibyl还注重可扩展性和易于调试性，方便集成到其他LLM应用中。

关键设计：Sibyl的关键设计包括：1) 全局工作空间的实现方式，例如使用向量数据库或知识图谱来存储知识。2) 多Agent辩论机制的具体流程，例如辩论的轮数、投票的规则等。3) 工具的选择和使用策略，例如如何根据任务需求选择合适的工具，以及如何有效地调用这些工具。4) 损失函数的设计，用于训练Agent的推理能力和辩论能力（如果采用端到端训练）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Sibyl在GAIA基准测试中取得了显著的性能提升，平均得分达到34.55%，超越了其他基于GPT-4的Agent。这一结果表明，Sibyl框架在处理复杂推理任务方面具有显著优势。此外，Sibyl的设计注重可扩展性和易于调试性，方便集成到其他LLM应用中，具有很高的实用价值。

🎯 应用场景

Sibyl Agent框架具有广泛的应用前景，例如智能客服、自动化报告生成、复杂决策支持等。它可以应用于需要长期推理、知识整合和多步骤决策的场景，例如金融分析、法律咨询、医疗诊断等。通过Sibyl，可以构建更智能、更可靠的AI系统，从而提高工作效率和决策质量。

📄 摘要（原文）

Existing agents based on large language models (LLMs) demonstrate robust problem-solving capabilities by integrating LLMs' inherent knowledge, strong in-context learning and zero-shot capabilities, and the use of tools combined with intricately designed LLM invocation workflows by humans. However, these agents still exhibit shortcomings in long-term reasoning and under-use the potential of existing tools, leading to noticeable deficiencies in complex real-world reasoning scenarios. To address these limitations, we introduce Sibyl, a simple yet powerful LLM-based agent framework designed to tackle complex reasoning tasks by efficiently leveraging a minimal set of tools. Drawing inspiration from Global Workspace Theory, Sibyl incorporates a global workspace to enhance the management and sharing of knowledge and conversation history throughout the system. Furthermore, guided by Society of Mind Theory, Sibyl implements a multi-agent debate-based jury to self-refine the final answers, ensuring a comprehensive and balanced approach. This approach aims to reduce system complexity while expanding the scope of problems solvable-from matters typically resolved by humans in minutes to those requiring hours or even days, thus facilitating a shift from System-1 to System-2 thinking. Sibyl has been designed with a focus on scalability and ease of debugging by incorporating the concept of reentrancy from functional programming from its inception, with the aim of seamless and low effort integration in other LLM applications to improve capabilities. Our experimental results on the GAIA benchmark test set reveal that the Sibyl agent instantiated with GPT-4 achieves state-of-the-art performance with an average score of 34.55%, compared to other agents based on GPT-4. We hope that Sibyl can inspire more reliable and reusable LLM-based agent solutions to address complex real-world reasoning tasks.