Model What Matters: Decision-Guided Selective World Modeling for Language Agents

📄 arXiv: 2610.19642v1 📥 PDF

作者: Maolin Ran, Minda Chen, Di Huang, Wei Xiong, Fei Huang, Weiwen Liu

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-14

备注: Core implementation included as ancillary files

💡 一句话要点

提出DGS-WM以解决语言代理的环境建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 语言代理 环境建模 决策引导 世界建模 自适应加权 任务优化

📋 核心要点

  1. 现有方法在强化学习中仅依赖稀疏的任务奖励，缺乏对环境动态的明确理解，导致模型对动作后果的理解有限。
  2. DGS-WM通过决策引导观察选择和自适应加权机制，优化了世界建模过程，增强了模型对决策相关观察的关注。
  3. 在多个基准测试中，DGS-WM在不同模型规模和强化学习算法下均表现出一致的性能提升，证明了其有效性。

📝 摘要（中文）

强化学习为大型语言模型驱动的代理优化任务目标提供了直接机制，但任务奖励通常是稀疏的轨迹级信号，仅评估任务成功，缺乏对动作条件环境转变的直接监督。近期研究通过策略与世界建模的共同训练引入辅助监督，但通常将完整环境观察视为均匀的世界建模目标，忽视了观察内容的决策相关性。本文提出DGS-WM（决策引导选择性世界建模），该方法通过决策引导观察选择组件和自适应加权组件，优化语言代理的世界建模，实验证明在多个基准任务中表现出更稳定和有效的性能。

🔬 方法详解

问题定义：本文旨在解决语言代理在强化学习中对环境建模的不足，现有方法未能有效利用观察内容的决策相关性，导致模型对环境动态的理解不够深入。

核心思路：DGS-WM通过引入决策引导观察选择和自适应加权机制，优化了世界建模过程，使模型能够更有效地关注与决策相关的观察内容，从而增强对环境的理解。

技术框架：整体架构包括两个主要模块：决策引导观察选择组件和自适应加权组件。前者根据观察单位对后续策略响应的支持程度进行过滤，后者根据模型对选定目标的预测置信度自适应调整监督强度。

关键创新：DGS-WM的核心创新在于引入决策引导的选择性世界建模损失，与强化学习损失共同优化，显著提升了模型的决策能力和环境理解。

关键设计：在损失函数设计上，结合了决策引导的选择性损失和自适应加权机制，确保模型在训练过程中能够动态调整对不同观察的关注程度。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个基准测试中，DGS-WM在单跳和多跳问答以及交互式网络任务上均表现出显著的性能提升，尤其在不同模型规模和强化学习算法下，均实现了稳定的效果提升，证明了其优越性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动问答和交互式网络任务等。通过提升语言代理对环境的理解能力，DGS-WM能够在复杂任务中提供更准确的响应，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning provides a direct mechanism for optimizing task objectives in large language model-driven agents, but task rewards are typically sparse trajectory-level signals that only evaluate task success, without directly supervising action-conditioned environment transitions, leaving the model with limited explicit understanding of action consequences and environment dynamics. Recent work introduces auxiliary supervision through policy and world modeling co-training, yet typically treats complete environmental observations uniformly as world modeling targets, overlooking the varying decision relevance of observation content. We propose DGS-WM (Decision-Guided Selective World Modeling), a decision-guided policy-world modeling co-training approach for language agents. DGS-WM employs a Decision-Guided Observation Selection component that filters observation units with decision value as world modeling targets based on their support for subsequent policy responses, and a Confidence-Adaptive Weighting component that adaptively adjusts supervision strength according to the model's prediction confidence on selected targets. Together, these components form a decision-aware auxiliary world modeling loss, jointly optimized with the RL loss on the same policy model. Across multiple benchmarks covering single-hop/multi-hop question answering and interactive web tasks, DGS-WM achieves consistent improvements under different model scales and RL algorithms, demonstrating more stable and effective performance compared to full-observation world modeling methods.