GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
作者: Nicholas Saban, Charvi Bannur, Mariya Vasileva, Darshan Deshpande
分类: cs.AI, cs.CL
发布日期: 2026-10-15
备注: Code: https://github.com/patronus-ai/globebench ; Data: https://huggingface.co/datasets/PatronusAI/globebench
💡 一句话要点
提出GlobeBench以评估文本基础世界模型在环境模拟中的能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本基础世界模型 环境模拟 强化学习 基准评估 任务设计 模型评估 人工智能
📋 核心要点
- 现有文本基础世界模型缺乏标准化基准，导致无法有效比较和改进模型性能。
- 本文提出GlobeBench基准，包含1632个任务，旨在评估模型在复杂环境中的状态预测能力。
- 实验结果显示，GPT-6 Astra在任务成功率上表现最佳，但仍有大量任务未被解决，反映出模型能力的不足。
📝 摘要（中文）
文本基础的世界模型最近显示出在多样化的应用场景中模拟复杂强化学习环境状态转变的潜力。然而，目前尚无标准化基准来比较、研究和改进这些模型。本文通过构建GlobeBench，一个包含1632个任务、覆盖五个独立领域和十九种模拟技能的新基准，试图解决这一问题。这些任务检查模型能否在理解早期状态变化的基础上，预测特定动作对环境的响应。我们将预测的环境响应与执行导出的参考进行比较，采用了包含确定性门和语义评判的混合架构。在20个通用大型语言模型和专门的文本世界模型中，GPT-6 Astra以49.57%的任务成功率表现最佳。我们发现，当动作影响环境的更大部分时，模型的准确性下降，特别是当代理的变化必须传播到相关对象时，所有20个模型的任务成功率平均降至5.1%。尽管模型在不同任务中的表现各异，但仍有631个任务未被任何模型解决，表明通用大型语言模型作为世界模型的能力存在显著差距。
🔬 方法详解
问题定义：本文旨在解决文本基础世界模型缺乏标准化评估基准的问题，现有方法无法有效比较和改进模型性能，导致模型在复杂环境中的应用受限。
核心思路：论文提出GlobeBench基准，通过设计多样化的任务来评估模型在理解环境状态变化和预测环境响应方面的能力，旨在填补现有研究的空白。
技术框架：GlobeBench基准包含1632个任务，覆盖五个领域和十九种技能，采用混合架构进行模型评估，包括确定性门和语义评判模块，以提高预测的准确性。
关键创新：GlobeBench是首个针对文本基础世界模型的标准化基准，提供了丰富的任务和评估指标，能够有效识别模型的强项和弱点。
关键设计：在模型评估中，采用了混合架构，结合了确定性门和语义评判，确保了对环境响应的准确预测。任务设计考虑了动作对环境的影响范围，特别关注依赖对象的状态变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-6 Astra在20个模型中以49.57%的任务成功率领先。然而，当任务涉及到依赖对象的状态变化时，成功率显著下降至5.1%，表明模型在处理复杂环境时的局限性。631个任务未被任何模型解决，显示出当前模型能力的不足。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实、智能代理等，能够为这些领域提供更为精准的环境模拟和决策支持。通过改进文本基础世界模型的能力，未来可实现更复杂的交互和智能行为，推动人工智能的应用边界。
📄 摘要（原文）
Text-based world models have recently shown potential to simulate complex RL environment state transitions for a diverse set of use cases. However, no standardized benchmark exists to compare, study and improve these models. Through this paper, we attempt to solve this problem by building GlobeBench, a novel benchmark with 1,632 tasks across five separate domains and nineteen simulation skills. The tasks check whether models can predict the environment's response to a specific action given the full agent trajectory by understanding earlier state changes, following environment rules, and predicting the effects of actions on both related and unrelated objects. We compare the predicted environment response with an execution-derived reference, using a hybrid architecture with both deterministic gates and a semantic judge. Among 20 general-purpose LLMs and specialized text world models, GPT-6 Astra achieves the highest task success rate at 49.57%. We find that model accuracy decreases as actions affect a larger portion of the environment. Specifically, when the agent's changes must propagate to dependent objects, task success drops to an average of 5.1% across all 20 models. Although model strengths differ across tasks, 631 tasks remain unsolved by any model, suggesting a significant gap in general LLM capabilities as a world model.