Measuring the Value of World-Model Updates: A Counterfactual Utility Protocol for Continual Adaptation
作者: Anqi Peter Li, Kaden Kim
分类: cs.LG
发布日期: 2026-09-10
备注: 13 pages, 2 figures, under review at the CWM workshop
💡 一句话要点
提出分叉账本以评估世界模型更新的价值
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 持续学习 反事实评估 决策优化 机器人控制
📋 核心要点
- 现有的模型更新方法无法有效评估单次更新的价值，导致性能不稳定。
- 本文提出分叉账本，通过在决策点分支评估更新与保持的效果，提供反事实效用的可观察性。
- 实验结果显示，固定更新机制在多个任务中降低了回报，强调了更新决策的重要性。
📝 摘要（中文）
持续的世界模型必须判断新数据是否值得更新模型。现有的固定重放调度和预测误差触发器无法揭示单次更新的价值。本文提出了分叉账本，通过在预注册决策点分支部署流，评估更新与保持的效果。实验结果表明，固定更新机制在多个控制任务中降低了回报，且更新的应用导致了性能的发散。分叉账本使得固定机制的反事实效用可观察，从而可以根据所选择的更新来评估触发器的有效性。
🔬 方法详解
问题定义：本文旨在解决持续世界模型在更新时如何评估新数据的价值的问题。现有方法如固定重放调度和预测误差触发器未能有效揭示单次更新的影响，导致性能不稳定。
核心思路：论文提出的分叉账本通过在预注册的决策点分支出更新和保持的路径，利用共同的随机数评估两者的效果，从而实现反事实效用的可观察性。
技术框架：整体架构包括在每个决策点创建分叉，记录更新与保持的回报差异ΔR，并在多个预训练检查点与不同漂移方向下进行评估。主要模块包括决策点选择、分叉路径评估和结果记录。
关键创新：分叉账本是本文的核心创新，它使得反事实效用可观察，允许通过所选择的更新来评估触发器的有效性，而不仅仅依赖于意外检测。
关键设计：实验中设置了693个未崩溃的分叉，评估了CartPole、Walker和Cheetah等任务的表现，具体参数和损失函数设计未详细说明，但强调了更新机制对回报的显著影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，固定更新机制在CartPole、Walker和Cheetah任务中分别降低了回报至-144.0、-82.8和-18.6，显示出更新决策对性能的显著影响。分叉账本的应用使得反事实效用的评估成为可能，提供了新的研究方向。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能决策系统等。通过有效评估模型更新的价值，能够提升系统的适应能力和性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Continual world models must decide whether new data justify changing the model. Fixed replay schedules and prediction-error triggers specify when to update, but neither reveals the value of an individual update: one deployment run cannot show how the same model would have performed at that moment had it held its parameters. We introduce the fork ledger, which branches a deployment stream at pre-registered decision points into matched update and hold continuations under common random numbers. It evaluates both continuations on the same episodes and records $ΔR = R_{\mathrm{update}} - R_{\mathrm{hold}}$. Always applying one fixed update mechanism lowers return on all three simulated control tasks: CartPole ($-144.0$; checkpoint-bootstrap $95\%$ CI $[-185.4,-116.1]$, against a converged return near $650$), Walker ($-82.8$; $[-101.1,-61.7]$) and Cheetah ($-18.6$; $[-29.0,-6.6]$). Divergence is an outcome of applying the update, so the estimand counts every attempted fork; restricted to the $693$ of $720$ that did not collapse, CartPole and Walker are unchanged in sign ($-113.4$ and $-82.1$) and Cheetah becomes unresolved ($-3.9$; $[-17.5,+13.0]$). The task is the unit of inference: each contributes $240$ attempted forks over five pretrained checkpoints crossed with two drift directions. The ledger makes counterfactual utility observable for a fixed mechanism, allowing triggers to be judged by the updates they select rather than by surprise detection alone.