In CEM, a World Model Is Also a Proposal Mechanism

📄 arXiv: 2610.00921v1 📥 PDF

作者: Oliver Obst, Frieder Stolzenburg

分类: cs.LG, cs.RO

发布日期: 2026-10-01

备注: 20 pages, including 12 pages appendix

💡 一句话要点

提出CEM方法中的世界模型作为提议机制以优化决策过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交叉熵方法 世界模型 决策优化 机器人控制 强化学习 预测模型

📋 核心要点

  1. 现有的CEM方法在决策过程中对评分误差的敏感性导致了候选选择的不稳定性。
  2. 论文提出通过分离评分和候选选择的角色，利用世界模型评分优化提议机制。
  3. 实验表明，替换更新策略后，选定序列的成本在多个任务中显著降低，验证了方法的有效性。

📝 摘要（中文）

本文探讨了交叉熵方法（CEM）中世界模型评分在选择动作序列和调整分布中的双重角色。通过评估四种预测模型生成的CEM轨迹，研究发现评分误差会影响当前决策及后续候选的选择。实验结果表明，在Walker和Cheetah任务中，预设提议距离在每个单位的CEM迭代中逐渐降低，且不同评分器之间的变异性显著。最终，通过替换模型排名更新为环境排名更新，显著降低了选定序列的成本。

🔬 方法详解

问题定义：本文主要解决CEM方法中评分误差对决策和候选选择的影响，现有方法在这方面存在不稳定性和低效性的问题。

核心思路：通过将世界模型评分与候选选择分开，论文提出了一种新的提议机制，旨在提高决策的准确性和效率。

技术框架：整体流程包括四种预测模型生成CEM轨迹，每个模型对保存的候选池进行重新评分，并通过环境执行相同候选以提供参考精英集和提议更新。

关键创新：最重要的创新在于将评分和提议机制分离，允许更灵活的候选选择和评分更新，从而提高了CEM的性能。

关键设计：在实验中，使用了六个单位进行随机非线性选择，并通过环境排名更新替换模型排名更新，显著降低了选定序列的成本。具体参数设置和损失函数未详细说明，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在Walker和Cheetah任务中，预设提议距离在每个CEM迭代中显著降低，且通过替换更新策略，选定序列的成本在六个单位中显著降低，验证了新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化决策系统和强化学习等。通过优化决策过程，能够提高系统在复杂环境中的适应能力和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The cross-entropy method (CEM) uses world-model scores to select action sequences and fit the distribution sampled in its next iteration. A scoring error can therefore change both the present decision and the candidates considered later. We evaluate these two roles separately. Four types of predictive model generate CEM traces, and every model rescores every saved candidate pool. Executing the same candidates in the environment provides a reference elite set and proposal update. Across twelve independently trained task-seed units on Walker and Cheetah, the pre-specified proposal distance falls from the first to the final CEM iteration in every unit. Proposal widths contract and fitted means separate relative to the remaining search width. Pairwise ranking agreement stays near chance on Walker and declines on Cheetah; elite-set agreement does not improve. This comparison shows greater variation between scorers than between pool sources on Cheetah; Walker has variation in both and in their pairings. We use the original six units to select Random nonlinear for a one-update intervention, without inspecting intervention outcomes. Replacing its first model-ranked update with an environment-ranked update lowers final realised selected-sequence cost in those six units and in six further units held out from the selection.