Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model

📄 arXiv: 2610.29139v1 📥 PDF

作者: Jiongxiao Wang, Han Ding, Youzhi Luo, Yawei Wang, Yun Zhou, Linbo Liu, Panpan Xu

分类: cs.AI

发布日期: 2026-10-21

💡 一句话要点

提出陷阱预测世界模型以提升黑箱大语言模型代理的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱大语言模型 世界模型 陷阱预测 智能代理 决策优化

📋 核心要点

  1. 现有的世界模型在每一步预测下一个观察，成本高且信息量有限，无法有效指导代理任务。
  2. 本文提出的PAWM模型通过预测潜在陷阱来选择性干预，优化了代理的决策过程。
  3. 实验结果显示，PAWM在多个基准测试中显著提升了LLM代理的性能，超越了多种基线方法。

📝 摘要（中文）

前沿的黑箱大语言模型（LLM）代理在长时间推理和精确动作生成方面表现出色。然而，在特定的代理任务中，它们缺乏对环境演变的内在知识。世界模型为此提供了自然的解决方案，通过预测环境对即将采取的动作的反应来提供环境特定知识。现有的世界模型主要在每一步预测下一个观察，这种方法成本高且信息量有限。本文提出了陷阱预测世界模型（PAWM），该模型在潜在陷阱出现时进行选择性干预，预测即将发生的失败，从而引导代理避开陷阱。实验结果表明，PAWM在ScienceWorld和WebArena-Lite上分别提高了Claude Sonnet 4.5的性能24.3%和7.7%。

🔬 方法详解

问题定义：本文旨在解决黑箱大语言模型在特定环境中缺乏内在知识的问题。现有方法在每一步都进行观察预测，导致高成本且信息量不足，无法有效指导代理的决策。

核心思路：论文提出的PAWM模型通过预测潜在的陷阱，选择性地在关键时刻进行干预，从而引导代理避开可能的失败。这种方法使得模型能够在多步决策中更有效地利用信息。

技术框架：PAWM的训练分为两个阶段：首先在标记有代理陷阱的合成数据上进行监督微调（SFT），然后与黑箱LLM进行GRPO共同训练，以进一步优化模型在目标环境中的表现。

关键创新：PAWM的核心创新在于其选择性干预机制，能够在潜在陷阱出现时进行预测，与现有方法的逐步观察预测形成鲜明对比。这种设计使得模型在决策时更具针对性和高效性。

关键设计：PAWM的训练过程中使用了合成数据集，设计了特定的损失函数以优化陷阱预测的准确性，同时在GRPO共同训练阶段，确保模型在实际环境中的有效性。

📊 实验亮点

实验结果表明，PAWM在ScienceWorld和WebArena-Lite上分别提高了Claude Sonnet 4.5的性能24.3%和7.7%。这些显著的提升表明，PAWM在黑箱大语言模型代理的决策过程中提供了有效的世界模型指导，超越了多种基线方法。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和游戏AI等。通过提升代理在复杂环境中的决策能力，PAWM能够在多种实际场景中提供更可靠的智能支持，未来可能对人机协作和自主系统的发展产生深远影响。

📄 摘要（原文）

Frontier black-box Large Language Model (LLM) agents are proficient at long-horizon reasoning and precise action generation. However, when it comes to a specific agentic task, they have no internalized knowledge of how that particular environment unfolds. A world model offers a natural remedy, providing the agent with environment specific knowledge by foreseeing how the environment will respond to the action it is about to take. Prior world models for LLM agents mainly predict next observations at each step, which is costly and often uninformative because individual observations provide limited task-relevant guidance and not every step requires call for foresight. This raises a key question: what a world model should predict and when should it be invoked for agentic tasks? Our pilot study suggests that world model guidance is most useful when it anticipates pitfalls within a bounded multi-step future. Motivated by this, we introduce Pitfall Anticipation World Model (PAWM), which selectively intervenes when a potential pitfall arises and predicts the impending failure to steer the agent away from it. PAWM is trained in two stages: Supervised Fine-Tuning (SFT) on synthetic data labeled with agent pitfalls, followed by GRPO co-training with a black-box LLM to further optimize it in the target environment. PAWM improves Claude Sonnet 4.5 performance by 24.3% on ScienceWorld and 7.7% on WebArena-Lite, outperforming a range of baselines. These results demonstrate that PAWM provides an effective form of world model guidance for black-box LLM agents.