How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

📄 arXiv: 2610.02542v1 📥 PDF

作者: Dhananjay Ashok, Shantanu Agarwal, Vivek Datla, Jonathan May, Alfy Samuel

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出混合世界建模系统以优化语言模型的环境模拟

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界建模 语言模型 检索增强生成 微调 查询重构 人工智能 决策规划

📋 核心要点

  1. 现有的基于语言模型的世界建模方法在检索效率和环境动态捕捉上存在不足，尤其是在复杂环境中表现不佳。
  2. 论文提出了一种混合世界建模系统，结合微调和检索增强生成（RAG）的方法，通过优化查询重构策略来提升模型性能。
  3. 实验结果表明，微调方法在大多数环境中表现优越，而混合系统在数据效率和性能上均显著提升，展示了其广泛适用性。

📝 摘要（中文）

世界模型（WMs）模拟环境的转移动态，使代理能够规划其行动的后果。在文本环境中，微调语言模型（LM）作为世界模型已成为主流方法。然而，尽管检索增强生成（RAG）等非参数方法取得了广泛成功，基于LM的世界建模中的检索仍然未被充分探索。我们在五个不同环境中系统评估了微调与基于RAG的方法，发现微调在15/20个设置中表现优于RAG。尽管两者都受益于更多样化的探索，RAG方法在数据效率上更具优势，而微调方法则更依赖于经验的规模。我们提出了一种使用反事实干预来估计检索阶段错误率的程序，并发现检索器经常从经验缓冲区中提取次优转移。为了解决这一问题，我们研究了多种查询重构策略，证明层次化方法优于传统检索管道。最终，我们构建了一个混合世界建模系统，能够参数化捕捉核心环境动态，同时学习依赖于主动维护的记忆存储的检索。我们的混合系统在多个环境和模型中始终优于其他方法，展示了该方法的鲁棒性及其研究成果的适用性。

🔬 方法详解

问题定义：本论文旨在解决基于语言模型的世界建模中检索效率低下和环境动态捕捉不准确的问题。现有方法在复杂环境中表现不佳，导致代理的决策能力受限。

核心思路：论文提出了一种混合世界建模系统，结合微调和RAG方法，通过优化查询重构策略来提升模型的检索效率和环境动态捕捉能力。这样的设计旨在充分利用两种方法的优势，提升整体性能。

技术框架：整体架构包括两个主要模块：微调模块和检索模块。微调模块负责训练语言模型以捕捉环境动态，而检索模块则通过优化查询重构策略，从经验缓冲区中提取相关信息。

关键创新：最重要的技术创新在于提出了层次化查询重构策略，显著提高了检索的有效性和准确性。这一方法与传统的检索管道相比，能够更好地适应复杂环境的需求。

关键设计：在模型训练中，采用了特定的损失函数来平衡微调和检索的效果，同时在查询重构中引入了反事实干预，以估计检索阶段的错误率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，微调方法在15/20个环境设置中优于RAG，且混合系统在数据效率和性能上均显著提升。具体而言，混合系统在多个环境中表现出更高的奖励，展示了其在复杂任务中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、游戏智能体和社交网络分析等。通过优化世界建模，代理能够更有效地进行决策和规划，从而在复杂环境中表现出更高的智能水平。未来，该方法可能推动更广泛的人工智能应用，提升人机交互的自然性和效率。

📄 摘要（原文）

World models (WMs) simulate the transition dynamics of environments, enabling agents to plan over the consequences of their actions. In text-based environments, fine-tuning a Language Model (LM) to serve as a WM has emerged as a dominant paradigm. However, despite the widespread success of non-parametric approaches such as Retrieval Augmented Generation (RAG), retrieval for LM-based world modelling remains underexplored. We conduct a systematic evaluation across five diverse environments spanning embodied, web navigation and social settings, comparing fine-tuning and RAG-based approaches for LM-based world modelling. Our study reveals that fine-tuning often outperforms RAG, with fine-tuned WMs enabling agents to obtain higher rewards on 15/20 settings. While both construction paradigms benefit from additional and more diverse exploration, RAG-based approaches prove more data-efficient, and fine-tuning approaches disproportionately benefit from scaling the amount of experience collected. With a focus on RAG-based WMs, we devise a procedure that uses counterfactual intervention to estimate the error rate of the retrieval stage, and show that retrievers consistently surface suboptimal transitions from the experience buffer. Hoping to address this failing, we study a variety of query reformulation strategies, demonstrating that a hierarchical approach outperforms the traditional retrieval pipeline. Finally, we compose our findings into a hybrid world modelling system that parametrically captures core environment dynamics, while learning to rely on retrieval from an actively maintained memory store. Our hybrid system consistently outperforms other methods across multiple environments and models, showcasing the robustness of the approach and the applicability of our findings.