WorldLLM: Improving LLMs' world modeling using curiosity-driven theory-making
作者: Guillaume Levy, Cedric Colas, Pierre-Yves Oudeyer, Thomas Carta, Clement Romac
分类: cs.AI, cs.LG
发布日期: 2025-06-07 (更新: 2025-11-24)
💡 一句话要点
WorldLLM：利用好奇心驱动的理论构建，提升LLM的世界建模能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 世界建模 贝叶斯推断 强化学习 好奇心驱动 主动探索 文本游戏
📋 核心要点
- 现有LLM在特定领域模拟中预测精度不足，无法有效利用其通用知识。
- WorldLLM结合贝叶斯推断和主动探索，迭代优化LLM对环境的预测。
- 实验表明，WorldLLM在文本游戏中提高了预测精度，并生成可解释的理论。
📝 摘要（中文）
大型语言模型（LLM）虽然拥有广泛的世界知识，但在结构化、特定领域的环境中（如模拟）生成精确预测时常常表现不佳。这些局限性源于它们无法将广泛、非结构化的理解与特定环境相结合。为了解决这个问题，我们提出了WorldLLM，一个通过结合贝叶斯推断和自主主动探索与强化学习来增强基于LLM的世界建模的框架。WorldLLM利用LLM的上下文学习能力，通过提示中给出的自然语言假设来指导基于LLM的世界模型的预测。这些假设通过贝叶斯推断框架迭代改进，该框架利用第二个LLM作为给定收集到的证据的提议分布。这些证据是通过好奇心驱动的强化学习策略收集的，该策略探索环境以找到在当前假设下，基于LLM的预测模型下具有低对数似然的转换。通过在改进假设和收集新证据之间交替，我们的框架自主地驱动预测的持续改进。我们的实验证明了WorldLLM在需要智能体操纵和组合对象的文本游戏环境中的有效性。该框架不仅提高了预测准确性，还生成了人类可解释的环境动态理论。
🔬 方法详解
问题定义：论文旨在解决LLM在特定领域（如模拟环境）中进行精确预测的难题。现有LLM虽然具备广泛的世界知识，但缺乏将这些知识有效应用于特定环境的能力，导致预测精度不高。痛点在于LLM的通用知识与特定环境的结构化信息之间存在鸿沟，难以有效桥接。
核心思路：论文的核心思路是利用好奇心驱动的理论构建方法，通过迭代地提出、验证和改进假设，使LLM能够更好地理解和预测特定环境的动态。这种方法借鉴了科学研究的范式，即通过观察、假设、实验和修正来逐步逼近真理。核心在于让LLM主动探索环境，并根据探索结果不断完善其内部的世界模型。
技术框架：WorldLLM框架包含以下主要模块：1) 基于LLM的世界模型：用于预测环境状态的转移概率。2) 贝叶斯推断模块：用于根据收集到的证据更新世界模型的假设。3) 好奇心驱动的强化学习策略：用于指导智能体探索环境，寻找信息量最大的状态转移。4) 证据收集模块：用于记录智能体在环境中的交互数据，作为贝叶斯推断的依据。整个流程是一个迭代过程：首先，LLM基于初始假设进行预测；然后，强化学习策略引导智能体探索环境，收集证据；接着，贝叶斯推断模块根据证据更新假设；最后，LLM使用更新后的假设进行下一轮预测。如此循环，不断提高预测精度。
关键创新：最重要的技术创新点在于将贝叶斯推断和好奇心驱动的强化学习相结合，用于改进LLM的世界建模能力。与传统的监督学习方法不同，WorldLLM不需要大量的标注数据，而是通过自主探索和迭代学习来逐步完善世界模型。此外，利用LLM的上下文学习能力，将自然语言假设作为世界模型的先验知识，也提高了学习效率。与现有方法的本质区别在于，WorldLLM不是简单地训练一个预测模型，而是构建一个能够不断学习和适应环境的智能系统。
关键设计：在贝叶斯推断模块中，使用另一个LLM作为提议分布，用于生成新的假设。好奇心驱动的强化学习策略采用基于信息增益的奖励函数，鼓励智能体探索那些能够最大程度地减少预测不确定性的状态转移。损失函数采用负对数似然，用于衡量预测结果与实际观测之间的差异。具体参数设置（如LLM的规模、强化学习算法的参数等）未知，可能需要根据具体环境进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WorldLLM在文本游戏环境中显著提高了预测精度，超过了基线方法。该框架不仅能够生成更准确的预测，还能够生成人类可解释的环境动态理论，这有助于我们更好地理解LLM的学习过程。具体的性能数据未知，但论文强调了WorldLLM在复杂环境中的有效性和可解释性。
🎯 应用场景
WorldLLM具有广泛的应用前景，例如在游戏AI、机器人控制、自动驾驶等领域。它可以帮助智能体更好地理解和预测复杂环境的动态，从而做出更明智的决策。此外，该框架还可以用于构建更智能的虚拟助手，使其能够更好地理解用户的意图并提供更个性化的服务。未来，WorldLLM有望成为构建通用人工智能的重要组成部分。
📄 摘要（原文）
Large Language Models (LLMs) possess general world knowledge but often struggle to generate precise predictions in structured, domain-specific contexts such as simulations. These limitations arise from their inability to ground their broad, unstructured understanding in specific environments. To address this, we present WorldLLM, a framework that enhances LLM-based world modeling by combining Bayesian inference and autonomous active exploration with reinforcement learning. WorldLLM leverages the in-context learning abilities of LLMs to guide an LLM-based world model's predictions using natural language hypotheses given in its prompt. These hypotheses are iteratively refined through a Bayesian inference framework that leverages a second LLM as the proposal distribution given collected evidence. This evidence is collected using a curiosity-driven reinforcement learning policy that explores the environment to find transitions with a low log-likelihood under our LLM-based predictive model using the current hypotheses. By alternating between refining hypotheses and collecting new evidence, our framework autonomously drives continual improvement of the predictions. Our experiments demonstrate the effectiveness of WorldLLM in a textual game environment that requires agents to manipulate and combine objects. The framework not only enhances predictive accuracy, but also generates human-interpretable theories of environment dynamics.