Knowing When to Stop Thinking: A Dissection of Expected Free Energy as a Test-Time Compute Controller for Latent World-Model Planning
作者: Tong Zhang, Zhiyuan Shi, Yun Peng, Tao Xie
分类: cs.RO
发布日期: 2026-10-20
💡 一句话要点
提出基于期望自由能量的计算控制方法以优化潜在世界模型规划
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 期望自由能量 计算控制 潜在世界模型 规划优化 在线更新 机器人决策 智能系统
📋 核心要点
- 现有的规划方法在选择较差动作时，仍可能提高预测结果，导致计算资源的浪费。
- 论文提出了一种基于期望自由能量的目标，结合了目标距离与预测不一致性，以优化计算资源的使用。
- 实验结果显示，在某些任务中，停止计算时精英成本停滞能够接近固定深度参考的成功率，且在线更新能部分恢复因数据缺失造成的损失。
📝 摘要（中文）
本文研究了如何利用期望自由能量（EFE）来决定在规划过程中应花费多少计算资源。通过结合目标距离与随机预测之间的不一致性，提出了一种基于EFE的目标。实验表明，在精英成本停滞时停止计算，可以减少在成功率随着深度达到平台期的任务上的细化。尽管在某些任务和权重设置中，惩罚不一致性有助于提升性能，但在其他情况下则可能导致性能下降。此外，当训练数据缺失达到目标所需的区域时，在线更新能够部分恢复损失。所测试的成本停滞规则在进一步优化利用模型错误时可能失效，因为预测成本在任务成功达到峰值后仍然下降。
🔬 方法详解
问题定义：本文旨在解决在潜在世界模型规划中，如何有效决定计算资源的分配问题。现有方法在选择动作时可能导致不必要的计算浪费，尤其是在成功率达到平台期时。
核心思路：论文的核心思路是利用期望自由能量（EFE）作为计算控制器，通过结合目标距离与随机预测的不一致性，来优化规划过程中的计算资源使用。这样的设计旨在提高规划的效率和效果。
技术框架：整体架构包括三个主要模块：候选评分、停止策略和在线预测器更新。候选评分用于评估不同动作的潜在效果，停止策略决定何时停止计算，而在线更新则用于在训练数据缺失时调整模型。
关键创新：最重要的技术创新在于提出了一种基于EFE的目标函数，能够有效结合目标距离与预测不一致性，从而优化计算资源的使用。这与现有方法的本质区别在于，现有方法往往忽视了计算资源的动态调整。
关键设计：在参数设置上，论文测试了不同的权重配置，发现较大的权重在某些任务中会降低成功率。同时，损失函数设计中对不一致性的惩罚在某些情况下能够提升性能，但在其他情况下则可能产生负面影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在精英成本停滞时停止计算的策略，使得成功率接近固定深度参考，且在某些任务中，在线更新能够部分恢复因数据缺失造成的损失。具体而言，在某些权重设置下，惩罚不一致性显著提升了任务成功率。
🎯 应用场景
该研究的潜在应用领域包括机器人规划、自动驾驶、智能决策系统等。通过优化计算资源的使用，可以在复杂环境中实现更高效的决策，提升系统的整体性能和响应速度。未来，该方法有望在实时决策和动态环境适应中发挥重要作用。
📄 摘要（原文）
A planner using a learned world model can improve its predicted outcome while choosing a worse action. We study when expected free energy (EFE) can help decide how much computation to spend on a plan. An EFE-inspired objective combines goal distance with disagreement among stochastic predictions. We test candidate scoring, stopping, and online predictor updates separately. Stopping when elite cost stalls reduces refinement on tasks whose success plateaus with depth, with mean success close to fixed-depth references. At the larger tested weights, rewarding disagreement lowers success with a frozen model. Penalizing it helps at some task and weight settings but harms others. When training data omit a region needed to reach the goal, online updates recover part of the resulting loss. The tested cost-stall rule can fail when further optimization exploits model errors, because predicted cost keeps falling after task success peaks. Cost progress can guide computation on a plateau, but protecting performance after a peak requires information about the consequences of the chosen actions.