Agent-Editing World Model: Rethinking World Modeling for LLM Agents
作者: Shuang Sun, Guoxin Chen, Fanzhe Meng, Jia Deng, Huatong Song, Jinhao Jiang, Wayne Xin Zhao, Hongteng Xu, Ji-Rong Wen
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-09-23
💡 一句话要点
提出Agent-Editing世界模型以解决任务状态污染问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能体 任务状态污染 推理与行动 状态修正 行动判断 决策支持 自动化工程
📋 核心要点
- 现有语言世界模型在真实反馈可用时，重建工具响应的价值有限，且智能体面临任务状态污染的问题。
- 本文提出Agent-Editing世界模型（AEWM），通过建模推理与行动对任务进展的影响，解决任务状态污染。
- AEWM在多个基准测试中表现出色，Action Judge基准达到了70.5%的宏观F1分数，EditAct在六个基准上平均提升3.2-6.7分。
📝 摘要（中文）
近年来，大型语言模型（LLMs）的进步使得智能体能够在多样化环境中处理长时间任务。现有的语言世界模型通常预测环境观察，但在真实反馈可用的情况下，重建高熵、执行依赖的工具响应价值有限。同时，智能体面临任务状态污染的问题，即不支持的假设和过时的计划在历史中持续存在，扭曲后续决策。为此，本文提出了Agent-Editing世界模型（AEWM），该模型关注推理和行动如何塑造未来任务进展，而非简单模拟工具响应。AEWM结合了行动判断（Action Judge）和状态修正（State Revision）来编辑来自同一观察历史的噪声推理-行动延续。通过中期训练和监督微调，AEWM在多个基准测试中表现优异，显著提升了智能体的决策能力。
🔬 方法详解
问题定义：本文旨在解决智能体在执行任务时面临的任务状态污染问题，现有方法在真实反馈可用时重建工具响应的价值有限，导致决策失误。
核心思路：AEWM通过关注推理和行动如何影响未来任务进展，而非简单模拟工具响应，来改善智能体的决策过程。
技术框架：AEWM的整体架构包括行动判断（Action Judge）模块，用于区分关键、探索性和噪声决策，以及状态修正（State Revision）模块，用于编辑噪声推理-行动延续。EditAct则将这些能力与真实执行整合，直接改变后续决策的基础状态。
关键创新：AEWM的主要创新在于其建模方式，强调推理和行动对任务进展的影响，而非仅仅依赖于工具响应的模拟。这一设计使得智能体能够更有效地处理复杂任务。
关键设计：在训练过程中，AEWM采用中期训练和监督微调的方法，使用特定的损失函数来优化行动判断和状态修正模块，确保智能体在多种环境下的适应性和准确性。
🖼️ 关键图片
📊 实验亮点
AEWM在Action Judge基准上达到了70.5%的宏观F1分数，超越最强基线10.6分。在六个基准和三个智能体骨干上，EditAct的平均得分提升了3.2至6.7分，显示出显著的性能改进。此外，AEWM-RFT在三个领域的表现较Self-RFT提升了2.2至2.6分，进一步验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化软件工程及复杂任务的决策支持系统。AEWM的设计理念可以帮助智能体在动态环境中更有效地进行决策，提升其在实际应用中的表现和可靠性。未来，AEWM可能会对智能体的自主学习和适应能力产生深远影响。
📄 摘要（原文）
Recent advances in large language models (LLMs) have enabled agents to tackle long-horizon tasks across diverse environments. To further improve agent performance, existing language world models typically predict environment observations, yet reconstructing high-entropy, execution-dependent tool responses offers limited value when real feedback is available. Meanwhile, agents suffer from \emph{task-state contamination}, where unsupported assumptions and outdated plans persist in history and distort subsequent decisions. We propose the \textbf{Agent-Editing World Model (AEWM)}, which models how reasoning and actions shape future task progress rather than simulating tool responses. AEWM combines \textbf{Action Judge} to distinguish \textsc{Critical}, \textsc{Exploratory}, and \textsc{Noisy} decisions with \textbf{State Revision} to edit noisy reasoning--action continuations from the same observed history. \textbf{EditAct} integrates these capabilities with real execution, directly changing the state underlying subsequent decisions rather than merely providing critiques. We train AEWM across Search, Terminal, and Software Engineering through mid-training and supervised fine-tuning. AEWM achieves 70.5\% macro-F1 on our Action Judge benchmark, exceeding the strongest frontier baseline by 10.6 points. Across six benchmarks and three agent backbones, EditAct improves average scores by 3.2--6.7 points over the strongest baseline. Furthermore, rejection sampling fine-tuning on verified EditAct trajectories, termed \textbf{AEWM-RFT}, improves over Self-RFT by 2.2--2.6 points across three domains without online AEWM guidance.