From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation
作者: Quanyu Long, Xiao Chen, Jianda Chen, Haozhen Zhang, Qisheng Hu, Jianzhu Bao, Wenya Wang
分类: cs.CL
发布日期: 2026-10-05
💡 一句话要点
提出Trace2Env以解决环境重建困难问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 环境模拟 代理语言模型 Trace2Env 历史交互轨迹 长时间交互 多轮交互 可重用环境
📋 核心要点
- 现有方法在重建不可访问的环境时面临挑战，传统的可执行环境复制难以实现。
- 论文提出Trace2Env框架，通过历史交互轨迹重建环境世界书，避免了直接重建原始系统的复杂性。
- 实验表明，Trace2Env在九个环境中提高了观察保真度和交互一致性，验证了其有效性。
📝 摘要（中文）
现实环境的复制在训练和评估大型语言模型（LLM）代理中愈发重要，但原始系统可能无法访问或重建。本文探索了代理语言世界建模的概念，提出了一种名为Trace2Env的框架，该框架在原始系统不可用但历史交互轨迹可用的情况下，重建这些轨迹为可重用的环境世界书。在运行时，世界模型代理结合持久的情节状态，推断每个动作的观察和持久状态效果。实验结果表明，Trace2Env在九个环境中提高了下一观察的保真度和长时间交互的一致性，展示了这一方法在构建现实环境复制品方面的潜力。
🔬 方法详解
问题定义：本文旨在解决在无法重建原始环境的情况下，如何有效模拟环境以训练LLM代理的问题。现有方法往往依赖于可执行环境，限制了其应用场景。
核心思路：Trace2Env通过利用历史交互轨迹，构建一个环境世界书，作为任务代理的环境支持。这种方法避免了重建复杂的原始系统，同时保持了环境的真实性和状态性。
技术框架：Trace2Env的整体架构包括环境世界书的构建和运行时的动态推理。环境世界书包含环境模式、基础证据和行为知识，而在运行时，世界模型代理结合持久的情节状态进行推理。
关键创新：Trace2Env的主要创新在于其学习无关的框架，能够在缺乏原始系统的情况下，依然实现高保真的环境模拟。这与传统的基于提示的语言世界模型形成鲜明对比。
关键设计：在设计上，Trace2Env通过对历史交互轨迹的分析，提取出环境模式和行为知识，确保在推理过程中能够准确反映每个动作的观察和状态变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Trace2Env在九个环境中显著提高了下一观察的保真度和长时间交互的一致性，相较于传统的提示基础语言世界模型，其有效性得到了验证，表明该方法在多轮交互中保持了更高的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人训练、虚拟现实和游戏开发等。通过提供高保真的环境模拟，Trace2Env可以帮助开发更智能的代理系统，提升其在复杂环境中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Realistic environment replicas are increasingly valuable for training and evaluating LLM agents, yet the original systems may be inaccessible or impractical to reproduce. We explore agentic language world modeling: rather than rebuilding an executable environment, a world model agent serves as the environment for a task agent and supports faithful and stateful simulation. We instantiate this paradigm with Trace2Env, a learning-free framework for settings where the original system is unavailable but historical interaction traces remain accessible. Trace2Env reconstructs these traces into a reusable environment worldbook containing environment schemas, grounded evidence, and induced behavioral knowledge. At runtime, the world model agent actively consults the worldbook together with persistent episodic state to infer each action's observation and lasting state effects. Across nine environments, Trace2Env improves both next-observation fidelity and long-horizon interaction consistency over conventional prompt-based LWMs. In multi-turn interaction, task agent actions generated against Trace2Env remain valid more often when replayed in the real environment, indicating that its simulated dynamics better preserve the consequences of earlier actions across successive turns. These results establish agentic language world modeling as an alternative direction for building realistic environment replicas without reconstructing the original executable system.