FlowWAM: Optical Flow as a Unified Action Representation for World Action Models
作者: Yixiang Chen, Peiyan Li, Yuan Xu, Qisen Ma, Jiabing Yang, Kai Wang, Jianhua Yang, Dong An, He Guan, Gaoteng Liu, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang
分类: cs.RO, cs.CV
发布日期: 2026-07-14
💡 一句话要点
提出FlowWAM以解决视频生成中的动作表示问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 光流表示 视频生成 动作预测 世界动作模型 无标签学习 机器人控制 多模态学习
📋 核心要点
- 现有方法在动作表示上存在不足，无法有效与预训练视频生成器对齐，且忽视了时间运动结构。
- FlowWAM提出使用光流作为统一的动作表示，通过双流扩散框架实现动作预测和视频生成。
- 在RoboTwin操控任务中，FlowWAM的成功率达到92.94%，在WorldArena世界建模中EWMScore达到63.71，均优于基线方法。
📝 摘要（中文）
世界动作模型（WAMs）能够利用预训练的视频生成器进行世界建模和动作预测。然而，直接利用这些视频生成器进行控制面临新挑战：如何以合适的形式表示动作，使其与预训练视频生成器对齐，同时携带足够的运动线索以实现准确控制。现有的数值动作表示无法满足这一要求，而之前的视觉动作表示忽视了帧间的时间运动结构。为此，本文提出了FlowWAM，一个采用光流作为统一视频原生动作表示的双流扩散框架。FlowWAM在策略模式下生成光流进行动作预测，在世界模型模式下使用目标光流序列指导未来视频生成。由于光流可以从原始视频中轻松提取，FlowWAM能够利用大规模无标签视频数据集进行预训练。实验证明，基于光流的动作表示在两个模式下均有显著提升。
🔬 方法详解
问题定义：本文旨在解决如何有效表示动作以与预训练视频生成器对齐的问题。现有的数值动作表示无法满足这一需求，而视觉动作表示未能考虑帧间的时间运动结构，导致控制精度不足。
核心思路：FlowWAM通过采用光流作为统一的动作表示，利用其与RGB视频相同的格式和丰富的每像素位移信息，来解决动作表示与视频生成器之间的对齐问题。
技术框架：FlowWAM的整体架构包括两个主要模式：策略模式和世界模型模式。在策略模式下，FlowWAM生成光流以进行动作预测；在世界模型模式下，使用目标光流序列指导未来的视频生成。
关键创新：FlowWAM的核心创新在于将光流作为动作表示，这一设计使得模型能够在无标签视频数据集上进行预训练，显著提升了模型的泛化能力和控制精度。
关键设计：FlowWAM的关键设计包括光流的提取方法、双流扩散框架的实现，以及损失函数的设置，确保了模型在动作预测和视频生成中的有效性。具体的网络结构和参数设置在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在RoboTwin操控任务中，FlowWAM的成功率提升至92.94%，在随机设置下为92.14%，显著优于VLA和WAM基线方法。在WorldArena世界建模中，FlowWAM的EWMScore达到63.71，相较于之前方法有18.4%的相对提升，展示了其在动作表示和视频生成中的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要高效视频理解和动作预测的场景。通过利用无标签视频数据集进行预训练，FlowWAM能够在多种实际应用中实现更高的准确性和效率，推动相关技术的发展。
📄 摘要（原文）
World Action Models (WAMs) are able to leverage pretrained video generators for both world modeling and action prediction. However, directly leveraging such video generators for control raises a new challenge: how to represent actions in a suitable form that aligns with pretrained video generators while carrying enough motion cues for accurate control. Existing numerical actions fail to satisfy the former, and prior visual action representations overlook the temporal motion structure across frames. We address this issue with FlowWAM, a dual-stream diffusion framework that adopts optical flow as a unified, video-native action representation. Flow videos share the same format as RGB videos and encode rich per-pixel displacement. By jointly modeling them within a shared pretrained video generator, FlowWAM can naturally implement two modes of WAMs. In policy mode, FlowWAM generates flow for action prediction, while in world-model mode, it uses target flow sequences to guide future video generation. Moreover, since flow can be easily extracted from raw videos without action labels, FlowWAM can leverage large-scale action-unlabeled video datasets for pretraining. We empirically find that our flow-based action representation delivers gains across both modes. On RoboTwin manipulation, FlowWAM raises the success rate to 92.94% on the Clean setting and 92.14% on Random, outperforming both VLA and WAM baselines. On WorldArena world modeling, it achieves the best overall EWMScore (63.71) with an 18.4% relative improvement in trajectory accuracy. More results can be found on our project website: https://flow-wam.github.io .