EvoBelief: Falsifiable World Models for Self-Improving LLM Agents
作者: Janet Wang, Jiang Guo, Yi Xiang, Jiaqing Yuan, Mingwen Dong, Hideo Kobayashi, Shuaichen Chang, Chandan K. Reddy, Jiarong Jiang
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出EvoBelief以解决自我演化LLM代理的信念更新问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自我演化 可证伪假设 环境动态 任务性能提升 智能代理 动态更新 机器学习 决策支持
📋 核心要点
- 现有的自我演化LLM代理在信念更新方面存在不足，导致在动态环境中表现不佳。
- EvoBelief通过将环境知识建模为可证伪的假设，支持在部署过程中动态更新信念。
- 在多个基准测试中，EvoBelief显著提升了任务成功率，尤其在ALFWorld和DiscoveryWorld中表现突出。
📝 摘要（中文）
自我演化的LLM代理通常通过积累经验、反思或技能来改善其行为。然而，即使是具备程序能力的代理，当其对环境动态的信念不完整、不正确或过时时，仍可能失败。本文研究了自我演化的一个补充方向：在部署过程中演化这些信念。我们提出了EvoBelief，这是一种将环境知识表示为可证伪假设的自我演化世界模型。意外结果和决策相关的未知因素会触发假设形成，后续观察和控制实验提供独立验证，确保规则在其支持的范围内指导预测或计划。通过四个基准测试，EvoBelief在任务性能上有所提升，并在任务间重用学习到的规则。
🔬 方法详解
问题定义：本文旨在解决自我演化LLM代理在动态环境中信念更新不足的问题。现有方法往往依赖于固定的模型参数，无法适应环境变化。
核心思路：EvoBelief的核心思想是将环境知识表示为可证伪的假设，通过不断的观察和实验来验证和更新这些假设，从而实现信念的自我演化。
技术框架：EvoBelief的整体架构包括假设形成、验证和更新三个主要模块。首先，代理在遇到意外结果时形成新的假设；其次，通过观察和实验验证这些假设；最后，根据验证结果更新或淘汰不再适用的规则。
关键创新：EvoBelief的主要创新在于其将环境知识建模为可证伪的假设，这与传统方法的固定模型参数设计形成鲜明对比，使得模型能够动态适应环境变化。
关键设计：在设计上，EvoBelief强调假设与证据的关联性，每个规则都与其验证证据相连，确保决策的透明性和可追溯性。
🖼️ 关键图片
📊 实验亮点
在ALFWorld中，EvoBelief相较于匹配的Frozen World Model成功率提升了23.9%，在MiniGrid中能够有效修正过时规则，并在DiscoveryWorld的Reactor Lab中完成了83.3%的Normal-tier实例，显示出显著的性能优势。
🎯 应用场景
EvoBelief的研究成果在多个领域具有潜在应用价值，包括智能机器人、自动驾驶、游戏AI等。通过动态更新环境知识，代理能够在复杂和变化的环境中做出更准确的决策，从而提高其自主性和适应能力。
📄 摘要（原文）
Self-evolving LLM agents typically improve how they act through accumulated experience, reflection, or skills. Yet even procedurally capable agents can fail when their beliefs about environment dynamics are incomplete, incorrect, or outdated. We study a complementary axis of self-evolution: evolving those beliefs during deployment. Such beliefs can support multiple tasks, but incorrect ones can also propagate across them. We introduce EvoBelief, a self-evolving world model that represents environment knowledge as falsifiable hypotheses. Unexpected outcomes and decision-relevant unknowns trigger hypothesis formation. Later observations and controlled experiments provide independent validation before a rule can guide predictions or plans within its supported scope. Counterexamples narrow or retire rules as the environment changes. The language model remains frozen, and each rule remains linked to its evidence and the decisions it changes. Across four benchmarks spanning static dynamics, hidden drift, and scientific discovery, EvoBelief improves task performance and reuses learned rules across tasks. On ALFWorld without actor-side transition memory, it improves success over the matched Frozen World Model by 23.9% and 31.3% with Claude Haiku 4.5 and GPT-5.4, respectively. On MiniGrid, it revises stale rules and recovers after unannounced dynamics changes. In DiscoveryWorld's Reactor Lab, it discovers and validates quantitative laws, completing 83.3% of Normal-tier and 58.3% of Challenge-tier instances, versus 0% for each evaluated baseline. These results demonstrate self-improvement through testable, revisable environment knowledge rather than model-parameter updates.