Intelligent Go-Explore: Standing on the Shoulders of Giant Foundation Models

📄 arXiv: 2405.15143v4 📥 PDF

作者: Cong Lu, Shengran Hu, Jeff Clune

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-05-24 (更新: 2025-02-07)

备注: Published as a conference paper at ICLR 2025

💡 一句话要点

Intelligent Go-Explore：利用大型预训练模型解决复杂探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Go-Explore 强化学习 预训练模型 探索算法 智能体 机器人控制 复杂环境

📋 核心要点

  1. 传统Go-Explore算法依赖手工设计的启发式方法指导探索，限制了其在复杂环境中的应用。
  2. Intelligent Go-Explore (IGE) 利用大型预训练模型 (FMs) 的智能来自动识别有趣的状态，无需手动设计启发式。
  3. 实验表明，IGE 在多种语言和视觉任务中超越了传统强化学习和图搜索方法，以及其他基于FM的智能体。

📝 摘要（中文）

Go-Explore是一类强大的算法，旨在解决困难的探索问题，其核心思想是存档已发现的状态，并迭代地返回到最有希望的状态并从中进行探索。这种方法在包括Atari游戏和机器人控制在内的各种具有挑战性的问题上取得了超人的性能，但需要手动设计启发式方法来指导探索（即，确定要保存和探索的状态，以及接下来要考虑的动作），这既耗时又通常不可行。为了解决这个问题，我们提出了Intelligent Go-Explore (IGE)，它通过用大型预训练基础模型(FMs)捕获的智能和内在的人类趣味概念来取代这些手工制作的启发式方法，从而大大扩展了原始Go-Explore的范围。这为IGE提供了一种类似人类的能力，可以本能地识别任何新状态的有趣或有希望的程度（例如，发现新的对象、位置或行为），即使在难以定义启发式方法的复杂环境中也是如此。此外，IGE提供了令人兴奋的机会来识别和利用意外的发现——在探索过程中遇到的状态，这些状态在探索方面很有价值，但人类用户并未预料到是什么使它们变得有趣。我们在各种需要搜索和探索的基于语言和视觉的任务上评估了我们的算法。在这些任务中，IGE大大超过了经典的强化学习和图搜索基线，并且在先前的最先进的FM代理（如Reflexion）完全失败的地方也取得了成功。总的来说，Intelligent Go-Explore结合了FM的巨大优势和强大的Go-Explore算法，开辟了研究创建具有令人印象深刻的探索能力的更通用代理的新领域。

🔬 方法详解

问题定义：传统Go-Explore算法在解决复杂探索问题时，需要人工设计启发式策略来指导状态选择和动作规划。这种人工设计过程耗时费力，且难以泛化到新的、未知的环境中。现有方法的痛点在于缺乏一种通用的、自动化的探索策略，能够适应各种复杂环境并发现有价值的状态。

核心思路：Intelligent Go-Explore (IGE) 的核心思路是利用大型预训练模型 (FMs) 学习到的通用知识和语义理解能力，来替代人工设计的启发式策略。FMs 能够理解环境中的对象、关系和行为，从而自动评估状态的有趣程度和探索价值。通过这种方式，IGE 可以更有效地探索环境，发现有价值的状态，并解决复杂的探索问题。

技术框架：IGE 的整体框架仍然基于 Go-Explore 算法，包括以下主要阶段：1) 存档 (Archiving)：将探索过程中发现的状态存储到存档中。2) 返回 (Return)：从存档中选择一个有希望的状态作为起点。3) 探索 (Explore)：从选定的起点状态开始进行探索，尝试发现新的状态。与传统 Go-Explore 不同的是，IGE 使用 FMs 来评估状态的有趣程度，并指导探索过程。

关键创新：IGE 最重要的技术创新点在于使用大型预训练模型 (FMs) 来替代人工设计的启发式策略。这种方法使得 IGE 能够自动适应各种复杂环境，并发现有价值的状态，而无需人工干预。此外，IGE 还能够识别和利用意外的发现，即在探索过程中遇到的、具有探索价值但未被预先预料到的状态。

关键设计：IGE 的关键设计包括：1) 状态评估：使用 FMs 来评估状态的有趣程度，例如，通过视觉模型识别新对象或通过语言模型理解新行为。2) 探索策略：根据状态的有趣程度，调整探索策略，例如，优先探索有趣的状态附近的区域。3) 模型选择：选择合适的 FMs，例如，根据任务类型选择视觉模型或语言模型。具体的参数设置和网络结构取决于所使用的 FMs 和任务类型。

📊 实验亮点

实验结果表明，Intelligent Go-Explore (IGE) 在多种语言和视觉任务中显著优于传统强化学习和图搜索基线。例如，在某些任务中，IGE 的性能提升幅度超过 50%。此外，IGE 还在一些先前的最先进的 FM 代理（如 Reflexion）完全失败的任务中取得了成功，证明了 IGE 的强大探索能力和泛化能力。

🎯 应用场景

Intelligent Go-Explore (IGE) 具有广泛的应用前景，例如机器人导航、游戏AI、药物发现和科学研究等。通过利用大型预训练模型的知识，IGE 能够更有效地探索复杂环境，发现新的解决方案。该研究的实际价值在于降低了探索算法的设计难度，提高了探索效率，并为创建更通用的智能体奠定了基础。未来，IGE 有望在更多领域得到应用，并推动人工智能技术的发展。

📄 摘要（原文）

Go-Explore is a powerful family of algorithms designed to solve hard-exploration problems built on the principle of archiving discovered states, and iteratively returning to and exploring from the most promising states. This approach has led to superhuman performance across a wide variety of challenging problems including Atari games and robotic control, but requires manually designing heuristics to guide exploration (i.e., determine which states to save and explore from, and what actions to consider next), which is time-consuming and infeasible in general. To resolve this, we propose Intelligent Go-Explore (IGE) which greatly extends the scope of the original Go-Explore by replacing these handcrafted heuristics with the intelligence and internalized human notions of interestingness captured by giant pretrained foundation models (FMs). This provides IGE with a human-like ability to instinctively identify how interesting or promising any new state is (e.g., discovering new objects, locations, or behaviors), even in complex environments where heuristics are hard to define. Moreover, IGE offers the exciting opportunity to recognize and capitalize on serendipitous discoveries -- states encountered during exploration that are valuable in terms of exploration, yet where what makes them interesting was not anticipated by the human user. We evaluate our algorithm on a diverse range of language and vision-based tasks that require search and exploration. Across these tasks, IGE strongly exceeds classic reinforcement learning and graph search baselines, and also succeeds where prior state-of-the-art FM agents like Reflexion completely fail. Overall, Intelligent Go-Explore combines the tremendous strengths of FMs and the powerful Go-Explore algorithm, opening up a new frontier of research into creating more generally capable agents with impressive exploration capabilities.