CASSANDRA: Programmatic and Probabilistic Learning and Inference for Stochastic World Modeling

📄 arXiv: 2601.18620v1 📥 PDF

作者: Panagiotis Lymperopoulos, Abhiramon Rajasekharan, Ian Berlot-Attwell, Stéphane Aroca-Ouellette, Kaheer Suleman

分类: cs.LG

发布日期: 2026-01-26

备注: 28 pages, 2 figures

💡 一句话要点

CASSANDRA：利用LLM进行程序化和概率学习，构建随机世界模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 大型语言模型 神经符号学习 概率图模型 因果推理 商业规划 知识先验

📋 核心要点

  1. 现实世界建模面临数据有限和语义丰富的挑战，传统方法难以有效捕捉复杂行动效果和因果关系。
  2. CASSANDRA利用LLM作为知识先验，结合程序化代码生成和概率图模型学习，构建轻量级且具有因果关系的世界模型。
  3. 实验表明，CASSANDRA在咖啡店和主题公园模拟器中，显著提升了转换预测和规划的性能，优于现有基线方法。

📝 摘要（中文）

构建世界模型对于现实世界领域（如商业）中的规划至关重要。由于这些领域具有丰富的语义，我们可以利用世界知识，从有限的数据中有效地建模复杂的行动效果和因果关系。本文提出了CASSANDRA，一种神经符号世界建模方法，它利用LLM作为知识先验来构建用于规划的轻量级转换模型。CASSANDRA集成了两个组件：（1）LLM合成的代码，用于建模确定性特征；（2）LLM引导的概率图模型的结构学习，用于捕获随机变量之间的因果关系。我们在（i）一个小规模的咖啡店模拟器和（ii）一个复杂的主题公园商业模拟器中评估了CASSANDRA，结果表明，与基线方法相比，在转换预测和规划方面都有显著的改进。

🔬 方法详解

问题定义：论文旨在解决在数据有限的情况下，如何为具有丰富语义的现实世界领域（如商业）构建有效的世界模型的问题。现有方法难以从有限的数据中建模复杂的行动效果和因果关系，导致规划效果不佳。

核心思路：论文的核心思路是利用大型语言模型（LLM）作为知识先验，结合神经符号方法，构建一个轻量级且具有因果关系的世界模型。LLM提供丰富的世界知识，可以指导模型的结构学习和参数估计，从而提高模型的泛化能力和预测精度。

技术框架：CASSANDRA包含两个主要组件：(1) LLM合成代码模块：利用LLM生成代码来建模确定性特征，例如，某些行动的直接结果。这些代码可以精确地描述这些确定性关系。(2) LLM引导的概率图模型学习模块：利用LLM的知识来指导概率图模型的结构学习，从而捕获随机变量之间的因果关系。该模块使用LLM来评估不同因果结构的合理性，并选择最合适的结构。

关键创新：CASSANDRA的关键创新在于将LLM作为知识先验，用于指导世界模型的构建。这与传统的从头开始学习世界模型的方法不同，后者需要大量的数据才能获得良好的性能。CASSANDRA通过利用LLM的知识，可以在数据有限的情况下构建更准确和更有效的世界模型。此外，CASSANDRA结合了程序化代码生成和概率图模型学习，可以同时建模确定性关系和随机关系。

关键设计：在LLM合成代码模块中，论文使用了prompt engineering技术来指导LLM生成高质量的代码。在LLM引导的概率图模型学习模块中，论文使用了一种基于贝叶斯网络的结构学习算法，并利用LLM来计算不同结构的先验概率。具体的损失函数和网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CASSANDRA在咖啡店和主题公园模拟器中进行了评估，实验结果表明，CASSANDRA在转换预测和规划方面都优于基线方法。具体提升幅度未知，但摘要中明确指出是“显著的改进”。这表明CASSANDRA能够有效地利用LLM的知识来构建世界模型，并在实际应用中取得良好的效果。

🎯 应用场景

CASSANDRA可应用于各种需要世界模型的现实世界领域，例如商业规划、机器人导航、游戏AI等。通过构建准确的世界模型，可以帮助智能体更好地理解环境，进行有效的决策和规划，从而提高效率和降低风险。未来，该方法有望扩展到更复杂的领域，例如医疗诊断和金融预测。

📄 摘要（原文）

Building world models is essential for planning in real-world domains such as businesses. Since such domains have rich semantics, we can leverage world knowledge to effectively model complex action effects and causal relationships from limited data. In this work, we propose CASSANDRA, a neurosymbolic world modeling approach that leverages an LLM as a knowledge prior to construct lightweight transition models for planning. CASSANDRA integrates two components: (1) LLM-synthesized code to model deterministic features, and (2) LLM-guided structure learning of a probabilistic graphical model to capture causal relationships among stochastic variables. We evaluate CASSANDRA in (i) a small-scale coffee-shop simulator and (ii) a complex theme park business simulator, where we demonstrate significant improvements in transition prediction and planning over baselines.