Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents
作者: Xiyang Wu, Zhichao Liu, Shengxin zhang, Zongxia Li, Ming Li, Tianyi Zhou, Dinesh Manocha
分类: cs.LG
发布日期: 2026-10-13
💡 一句话要点
提出BELIEFWEAVER框架以解决长时间跨度代理的故障恢复问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间跨度代理 故障恢复 持久证据 前瞻性推理 隐式世界模型 蒸馏训练 动态信念状态
📋 核心要点
- 长时间跨度代理在故障恢复方面面临挑战，现有方法无法有效处理早期故障的影响。
- BELIEFWEAVER框架通过持久证据和前瞻性推理，维护关系信念状态以指导故障恢复。
- 在三个基准测试中，BELIEFWEAVER的最终得分提高了5.1个百分点，蒸馏后的9B学生模型得分提升了9.8个百分点。
📝 摘要（中文）
长时间跨度的代理常常难以从早期几步造成的故障中恢复，超出了局部反思或回溯的能力。本文提出了BELIEFWEAVER框架，结合了跨尝试的持久证据与前瞻性推理。该框架维护了一个关于前沿、尝试、观察和检查点的关系信念状态。执行证据更新相关的前沿优先级，同时诊断证据控制执行。隐式世界模型（IWM）评估修复假设，预测进展，并识别前沿之间的关系以指导探索。实验结果表明，BELIEFWEAVER在三个基准测试中相较于原生的Terminus-2续接提高了5.1个百分点的最终得分，并在探索效率上呈现积极趋势。
🔬 方法详解
问题定义：本文旨在解决长时间跨度代理在故障恢复中面临的挑战，现有方法往往无法有效处理因早期决策导致的后续故障，限制了代理的恢复能力。
核心思路：BELIEFWEAVER框架通过结合持久证据和前瞻性推理，维护一个关系信念状态，能够更好地识别和修复故障。该设计旨在通过持续更新和评估来增强代理的恢复能力。
技术框架：BELIEFWEAVER框架包括多个模块：持久证据收集、前瞻性推理、隐式世界模型（IWM）和信念状态更新。每个模块协同工作，以优化故障恢复过程。
关键创新：最重要的创新在于将持久证据与前瞻性推理相结合，形成一个动态更新的信念状态，这与传统方法的静态处理方式形成鲜明对比。
关键设计：在模型设计中，采用了监督微调和在线蒸馏（OPD）技术，优化了9B学生模型的性能，同时显著降低了教师模型的API成本。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BELIEFWEAVER在三个基准测试中相较于原生Terminus-2续接提高了5.1个百分点的最终得分，蒸馏后的9B学生模型得分提升了9.8个百分点，同时教师模型的API成本降低了54.8%。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能代理和复杂系统中的故障恢复。通过提高长时间跨度代理的恢复能力，BELIEFWEAVER框架能够在动态环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon agents often struggle to recover from failures whose causes lie several steps earlier, beyond what local reflection or backtracking can resolve. We introduce BELIEFWEAVER, a framework that combines persistent evidence across attempts with prospective reasoning over repair directions. It maintains a relational belief state over frontiers, attempts, observations, and checkpoints. Execution evidence updates related frontier priorities across attempts and rollback, while diagnostic evidence gates execution. An implicit world model (IWM) evaluates repair hypotheses, predicts progress, and identifies relations among frontiers to guide exploration. We further distill these recurring IWM reasoning components into a 9B student through supervised fine-tuning and on-policy distillation (OPD). Across three terminal-based benchmarks, BELIEFWEAVER improves aggregate final score by 5.1 percentage points over native Terminus-2 continuation, with positive trends in exploration efficiency. The distilled 9B student improves final score by 9.8 percentage points over the reported native baseline while reducing estimated teacher API cost by 54.8% relative to the matched teacher. These results show that persistent evidence and prospective reasoning can improve recovery in long-horizon agent tasks while substantially reducing reliance on teacher-model inference.