Long-Horizon Textual World Modeling through Structured Reasoning
作者: Fangxin Wang, Xiang Gao, Yuguang Yao, Kaiwen Dong, Nikash Walia, Kamalika Das
分类: cs.CL
发布日期: 2026-10-05
💡 一句话要点
通过结构化推理提出长时间文本世界建模方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间预测 结构化推理 文本世界建模 多步动态模型 智能体决策
📋 核心要点
- 现有的长时间预测方法容易受到中间错误的影响，导致性能下降。
- 本文提出通过结构化推理对稀疏状态变化进行建模，从而减轻状态跟踪的负担。
- 在多个基准测试中，提出的方法在长时间预测上表现优异，超越了现有的递归和非递归基线。
📝 摘要（中文）
世界模型必须预测环境在一系列动作下的演变，使得智能体能够在行动前比较可能的未来并推理反事实动作。长时间预测通常通过递归应用一步过渡模型获得，但中间错误可能会随时间累积。多步动态模型则直接基于未来动作序列预测其后果，但随着时间跨度的增加，学习变得更加困难。本文通过将多步过渡的内部演变视为对稀疏状态变化的结构化推理，提出了一种新方法，显著提升了长时间预测的性能。
🔬 方法详解
问题定义：本文旨在解决长时间预测中中间错误累积的问题。现有方法在处理多步动态模型时，难以有效跟踪状态变化，导致性能下降。
核心思路：通过将多步过渡的内部演变视为对文本世界状态的结构化推理，减少状态跟踪的复杂性，并引入预测增益目标来奖励改进的状态。
技术框架：整体框架包括三个主要模块：状态变化推理模块、预测增益目标模块和中间预测奖励模块。状态变化推理模块负责处理稀疏状态变化，预测增益目标模块用于优化学习过程，而中间预测奖励模块则为每个状态提供监督。
关键创新：最重要的创新在于将状态表示为文本形式，使得这些状态具有语义意义，便于在训练过程中进行检查和修正。这与传统方法的直接历史条件化形成了鲜明对比。
关键设计：在损失函数设计上，采用了预测增益目标和中间预测奖励，确保每个状态的学习都能得到有效监督。网络结构上，使用了适应性参数设置，以便于处理不同长度的预测任务。
🖼️ 关键图片
📊 实验亮点
在ScienceWorld、Jericho和CEO-Bench等基准测试中，提出的方法在长时间预测上表现出色，平均性能超越了递归和非递归基线，尤其在较长时间跨度的预测中，性能提升显著。此外，在控制反事实研究中，模型对未来动作的敏感性具有统计显著性。
🎯 应用场景
该研究的潜在应用领域包括智能体决策、机器人导航和自动驾驶等。通过提升长时间预测能力，智能体能够更好地理解复杂环境中的动态变化，从而在实际应用中做出更为准确的决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
World models must predict how an environment evolves under sequences of actions, enabling agents to compare possible futures and reason about counterfactual actions before acting. Long-horizon prediction is commonly obtained by recursively applying a one-step transition model, but intermediate errors can compound over time. Multi-step dynamics models instead condition on a sequence of future actions and predict their consequences directly, but become harder to learn as horizon grows: the model must track interacting state changes across the trajectory, endpoint supervision provides weak credit assignment, and intermediate predictions can remain plausible while losing information needed for later states. We show that these challenges can be addressed by casting the internal evolution of a multi-step transition as structured reasoning over textual world states: reasoning over sparse state changes reduces the burden of state tracking, a predictive-gain objective rewards the learned state for improving over a matched predictor that conditions on raw history instead, and intermediate predictive rewards supervise each state along the trajectory. Because these intermediate states are explicit textual representations of the world, they provide semantically meaningful targets that can be inspected, scored, and corrected during training. Across ScienceWorld, Jericho, and CEO-Bench, our approach achieves the strongest average long-horizon performance against recursive and non-recursive baselines that condition directly on raw history, with gains increasing at longer horizons. In a controlled counterfactual study, our model is also the only one with statistically significant sensitivity to future actions.