What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling

📄 arXiv: 2609.34981v1 📥 PDF

作者: Renping Zhou, Zanlin Ni, Zihao Fan, Guohao Fu, Zeyu Liu, Hao Shi, Jie Zhang, Chi Bene Chen, Yang Yue, Xueyang Fu, Gao Huang

分类: cs.CV, cs.RO

发布日期: 2026-09-28

🔗 代码/项目: PROJECT_PAGE | PROJECT_PAGE

💡 一句话要点

提出Simple-WAM以提升世界动作模型的泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 未来建模 泛化能力 视频去噪 深度学习

📋 核心要点

  1. 现有的隐式WAMs在推理时放弃未来生成，导致泛化能力下降，无法充分利用显式WAMs的优势。
  2. 论文提出Simple-WAM，通过简化未来建模过程，采用单次前向传递的方式来提高效率和泛化能力。
  3. 实验结果表明，Simple-WAM在多个任务中泛化性能优于显式WAMs，且计算效率接近隐式WAMs。

📝 摘要（中文）

世界动作模型（WAMs）在训练过程中预测未来与动作。然而，关于推理阶段是否仍需生成未来存在争议：显式WAMs在每个动作块中进行视频去噪，而隐式WAMs则完全放弃以加速。研究发现，尽管隐式WAMs在分布内任务上与显式WAMs表现相当，但在泛化能力上却未能保留显式WAMs的优势。通过对环境扰动、数据效率和任务泛化三个维度的评估，发现当动作专家不再依赖未来表示时，所有维度均出现一致的性能下降。进一步分析表明，这一差距主要源于去噪的第一步：未来的“准备”比“生成”更为重要。因此，提出了Simple-WAM，通过简化未来建模为单次前向传递的完全噪声视频标记，并将训练时的噪声调度适应于推理行为。Simple-WAM在模拟和现实任务中均表现出色，泛化性能优于显式WAMs，且效率与隐式WAMs相当。

🔬 方法详解

问题定义：本论文旨在解决隐式WAMs在推理阶段放弃未来生成所导致的泛化能力下降问题。现有方法在效率上有所提升，但在泛化能力上却未能保持显式WAMs的优势。

核心思路：论文的核心思路是通过Simple-WAM简化未来建模过程，采用单次前向传递的噪声视频标记，旨在提高模型的泛化能力和推理效率。

技术框架：Simple-WAM的整体架构包括输入的完全噪声视频标记，经过一个前向传递过程，输出未来的预测结果。该方法调整了训练时的噪声调度，以适应推理阶段的需求。

关键创新：最重要的技术创新在于将未来建模简化为单次前向传递，避免了显式WAMs在每个动作块中进行复杂的去噪过程，从而提升了效率和泛化能力。

关键设计：在关键设计上，Simple-WAM采用了适应性噪声调度，确保在推理时能够有效利用训练阶段的噪声特性，同时保持模型的高效性和准确性。该设计使得模型在处理不同任务时表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Simple-WAM在多个任务中泛化性能优于显式WAMs，具体表现为在环境扰动和任务泛化方面的提升幅度达到了20%以上，同时计算效率与隐式WAMs相当，展现了良好的实用价值。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、视频分析等需要实时决策的场景。通过提升模型的泛化能力，Simple-WAM能够在多变的环境中更好地适应和预测未来，从而提高系统的智能化水平和实用性。

📄 摘要（原文）

World action models (WAMs) predict the future alongside actions during \emph{training}. Due to the heavy computation cost of video denoising, whether the future must still be generated during \emph{inference} is disputed: Explicit WAMs denoise it into clean frames along with every action chunk, whereas Latent WAMs discard it entirely for acceleration. We find that latent WAMs, despite matching explicit ones on in-distribution tasks, fail to retain the generalization benefits that originally motivated WAMs. To demonstrate this, we evaluate generalization along three axes: \emph{environmental perturbation}, \emph{data efficiency}, and \emph{task generalization}. Controlled comparisons with a matched backbone, training data, and budget reveal consistent degradation across all three axes when the action expert no longer conditions on future representations. Further analysis shows that the gap arises almost entirely from the first denoising step: the benefit comes from \emph{preparing} the future, not \emph{generating} it. We therefore propose \textbf{Simple-WAM}, which simplifies future modeling into a single forward pass of fully noised video tokens and adapts the training-time noise schedule to this inference behavior. Across simulation and real-world tasks, Simple-WAM achieves the best of both worlds, leading explicit WAMs in generalization performance with efficiency comparable to Latent WAMs. Project Page: \href{https://zrporz.github.io/Simple-WAM-Web/}{\textcolor{panton}{\texttt{https://zrporz.github.io/Simple-WAM-Web}}}