Synthesizing world models for bilevel planning

📄 arXiv: 2503.20124v2 📥 PDF

作者: Zergham Ahmed, Joshua B. Tenenbaum, Christopher J. Bates, Samuel J. Gershman

分类: cs.AI

发布日期: 2025-03-26 (更新: 2025-07-13)

备注: Accepted to TMLR

💡 一句话要点

提出TheoryCoder，通过合成世界模型进行双层规划，提升强化学习的样本效率和适应性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 理论驱动强化学习 世界模型 程序合成 分层规划 双层规划 抽象动作 大型语言模型

📋 核心要点

  1. 现有强化学习方法在新领域学习时，样本效率和适应性不足，难以达到人类水平。
  2. TheoryCoder通过分层表示理论和程序合成，构建可扩展的世界模型，实现高效学习和规划。
  3. 实验表明，TheoryCoder在网格世界游戏中表现出色，优于直接策略合成方法，验证了分层抽象的优势。

📝 摘要（中文）

现代强化学习(RL)系统在视频游戏等复杂环境中表现出了卓越的能力。然而，在学习新领域时，它们在样本效率和适应性方面仍然不如人类。理论驱动的强化学习(TBRL)是一种专门为解决这一差距而设计的算法框架。TBRL以认知理论为模型，利用结构化的因果世界模型——“理论”——作为前向模拟器，用于规划、泛化和探索。虽然目前的TBRL系统为人类如何学习玩视频游戏提供了令人信服的解释，但它们面临着一些技术限制：它们的理论语言具有限制性，并且它们的规划算法不具有可扩展性。为了应对这些挑战，我们引入了TheoryCoder，它是TBRL的一个实例，它利用理论的层次化表示和高效的程序合成方法来实现更强大的学习和规划。TheoryCoder为智能体配备了通用抽象(例如，“移动到”)，然后通过学习低级转换模型(由大型语言模型从观察中合成的Python程序)将其扎根于特定环境中。双层规划算法可以利用这种层次结构来解决大型领域。我们证明了这种方法可以成功地应用于各种具有挑战性的网格世界游戏，而基于直接合成策略的方法表现不佳。消融研究证明了使用分层抽象的好处。

🔬 方法详解

问题定义：论文旨在解决现有理论驱动强化学习（TBRL）系统在理论语言的表达能力和规划算法的可扩展性方面的局限性。现有的TBRL系统通常依赖于受限的理论语言，难以表达复杂环境的动态特性，并且其规划算法难以扩展到大型、复杂的任务中。

核心思路：论文的核心思路是利用分层表示的理论和程序合成技术来构建更强大的世界模型。通过将复杂的任务分解为一系列抽象的动作序列，并利用大型语言模型合成低级别的转换模型，TheoryCoder能够有效地学习和规划。这种分层结构使得智能体能够更好地理解环境的因果关系，并能够更快地适应新的环境。

技术框架：TheoryCoder的整体框架包含以下几个主要模块：1) 抽象动作库：预定义一组通用的抽象动作，例如“移动到”；2) 低级转换模型合成：利用大型语言模型从观察数据中合成Python程序，作为低级转换模型，将抽象动作转化为具体的环境交互；3) 双层规划算法：在高层利用抽象动作进行规划，在低层利用合成的转换模型进行模拟，从而实现高效的规划。

关键创新：论文最重要的技术创新点在于将程序合成技术与分层强化学习相结合，从而构建了可扩展的世界模型。与传统的TBRL系统相比，TheoryCoder能够学习更复杂的理论，并能够更有效地进行规划。此外，利用大型语言模型进行程序合成也使得TheoryCoder能够更好地适应新的环境。

关键设计：在TheoryCoder中，关键的设计包括：1) 抽象动作的选择：选择合适的抽象动作对于提高学习效率至关重要；2) 程序合成的目标函数：设计合适的目标函数，使得合成的程序能够准确地模拟环境的动态特性；3) 双层规划算法的优化：设计高效的双层规划算法，以充分利用分层结构的优势。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，TheoryCoder在各种网格世界游戏中表现出色，显著优于基于直接策略合成的方法。消融研究进一步验证了分层抽象的优势，表明分层结构能够有效地提高学习效率和泛化能力。具体性能数据未知，但论文强调了在复杂任务上的显著提升。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、自动驾驶等领域。通过构建可解释、可泛化的世界模型，智能体能够更好地理解环境，从而在复杂、动态的环境中做出更明智的决策。此外，该方法还有助于提高强化学习的样本效率，降低训练成本。

📄 摘要（原文）

Modern reinforcement learning (RL) systems have demonstrated remarkable capabilities in complex environments, such as video games. However, they still fall short of achieving human-like sample efficiency and adaptability when learning new domains. Theory-based reinforcement learning (TBRL) is an algorithmic framework specifically designed to address this gap. Modeled on cognitive theories, TBRL leverages structured, causal world models - "theories" - as forward simulators for use in planning, generalization and exploration. Although current TBRL systems provide compelling explanations of how humans learn to play video games, they face several technical limitations: their theory languages are restrictive, and their planning algorithms are not scalable. To address these challenges, we introduce TheoryCoder, an instantiation of TBRL that exploits hierarchical representations of theories and efficient program synthesis methods for more powerful learning and planning. TheoryCoder equips agents with general-purpose abstractions (e.g., "move to"), which are then grounded in a particular environment by learning a low-level transition model (a Python program synthesized from observations by a large language model). A bilevel planning algorithm can exploit this hierarchical structure to solve large domains. We demonstrate that this approach can be successfully applied to diverse and challenging grid-world games, where approaches based on directly synthesizing a policy perform poorly. Ablation studies demonstrate the benefits of using hierarchical abstractions.