Large Language Model (LLM) as a System of Multiple Expert Agents: An Approach to solve the Abstraction and Reasoning Corpus (ARC) Challenge

📄 arXiv: 2310.05146v1 📥 PDF

作者: John Chong Min Tan, Mehul Motani

分类: cs.AI, cs.CL

发布日期: 2023-10-08

备注: 6 main pages, 1 page references, 18 pages appendix

💡 一句话要点

提出多专家代理系统以解决抽象与推理语料库挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多专家代理 抽象与推理 环境反馈 任务解决

📋 核心要点

  1. 现有方法在解决ARC挑战时缺乏灵活性和适应性，难以处理多样化的输入和任务。
  2. 论文提出通过将LLMs视为多专家代理，利用其强大的联想能力和环境反馈来解决ARC挑战。
  3. 实验结果显示，使用三个抽象空间成功解决了45%的训练集问题，展示了方法的有效性和潜力。

📝 摘要（中文）

我们尝试使用大型语言模型（LLMs）作为多专家代理系统来解决抽象与推理语料库（ARC）挑战。利用LLMs的灵活性，通过零-shot、few-shot和上下文引导提示，我们探索了使用LLMs解决ARC挑战的可行性。首先，我们将输入图像转换为多个适合的文本抽象空间。然后，利用LLMs的联想能力推导输入与输出之间的关系，并将其映射为工作程序中的动作。此外，我们使用迭代环境反馈来指导LLMs完成任务。我们的方法在111个训练集问题中成功解决了50个（45%），仅使用了三个抽象空间——网格、对象和像素。我们相信，随着更多抽象空间和可学习动作的引入，我们将能够解决更多问题。

🔬 方法详解

问题定义：本论文旨在解决抽象与推理语料库（ARC）挑战，现有方法在处理多样化任务时表现不足，缺乏灵活性和适应性。

核心思路：论文的核心思路是将大型语言模型（LLMs）作为多专家代理，通过将输入图像转换为多个文本抽象空间，利用LLMs的联想能力推导输入与输出之间的关系，并通过环境反馈指导任务完成。

技术框架：整体架构包括三个主要模块：首先，将输入图像转换为网格、对象和像素等抽象空间；其次，利用LLMs推导输入输出关系；最后，通过迭代环境反馈优化任务解决过程。

关键创新：最重要的技术创新在于将LLMs整合为多专家代理系统，利用其灵活性和联想能力来处理复杂的抽象任务，这与传统方法的单一模型处理方式有本质区别。

关键设计：在设计中，选择了三个抽象空间（网格、对象、像素），并通过环境反馈机制不断调整LLMs的输出，以提高任务解决的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在111个训练集问题中成功解决了50个，达到了45%的解决率。这一结果展示了使用多抽象空间和环境反馈的有效性，相较于传统方法有显著提升。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏开发和人工智能助手等。通过提高LLMs在复杂推理任务中的表现，可以为这些领域提供更智能的解决方案，推动人机交互的进步。

📄 摘要（原文）

We attempt to solve the Abstraction and Reasoning Corpus (ARC) Challenge using Large Language Models (LLMs) as a system of multiple expert agents. Using the flexibility of LLMs to be prompted to do various novel tasks using zero-shot, few-shot, context-grounded prompting, we explore the feasibility of using LLMs to solve the ARC Challenge. We firstly convert the input image into multiple suitable text-based abstraction spaces. We then utilise the associative power of LLMs to derive the input-output relationship and map this to actions in the form of a working program, similar to Voyager / Ghost in the MineCraft. In addition, we use iterative environmental feedback in order to guide LLMs to solve the task. Our proposed approach achieves 50 solves out of 111 training set problems (45%) with just three abstraction spaces - grid, object and pixel - and we believe that with more abstraction spaces and learnable actions, we will be able to solve more.