Masked Visual Actions for Unified World Modeling
作者: Hadi Alzayer, Wenlong Huang, Haonan Chen, Christopher Luey, Lvmin Zhang, Maneesh Agrawala, Gordon Wetzstein, Li Fei-Fei, Yilun Du, Jiajun Wu, Jia-Bin Huang
分类: cs.CV, cs.RO
发布日期: 2026-07-21
备注: Project webpage: https://masked-visual-actions.github.io
💡 一句话要点
提出Masked Visual Actions以解决机器人世界建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频模型 机器人控制 动态预测 动作理解 物理交互 深度学习 视觉保真度
📋 核心要点
- 现有视频模型在与物理操作结合时，如何有效传达动作仍然是一个挑战，限制了其在机器人领域的应用。
- 本文提出Masked Visual Actions，通过部分揭示实体轨迹的方式，将动作与视觉空间对齐，增强模型的动态预测能力。
- 实验表明，经过少量的微调后，模型在多种场景中展现出强大的视觉保真度和可控性，能够有效支持决策和逆向建模。
📝 摘要（中文）
视频模型能够吸收丰富的视觉世界运动、交互和接触响应的先验知识，使其成为机器人世界建模的有希望的基础。然而，如何将动作以与视觉空间对齐的形式传达给这些模型，同时又与物理操作相结合，是一个核心挑战。本文提出了Masked Visual Actions，这是一种像素空间控制接口，通过部分揭示视频中任意实体的轨迹来表达动作。揭示机器人运动使模型作为前向动力学模型，预测场景对低级机器人动作的响应，而揭示期望的物体运动则使模型恢复与该结果一致的机器人行为。经过仅15小时的真实视频和仿真的掩蔽示例微调，单个检查点在多样场景和多种表现形式中实现了强大的视觉保真度和可控性。
🔬 方法详解
问题定义：本文旨在解决如何将动作有效传达给视频模型的问题，现有方法在与物理操作结合时存在不足，限制了机器人在复杂环境中的应用。
核心思路：提出Masked Visual Actions，通过部分揭示实体的运动轨迹，使模型能够在视觉空间中理解和预测动作的影响，从而实现更自然的交互。
技术框架：整体架构包括视频输入处理、动作轨迹揭示、动态响应预测和行为恢复四个主要模块，形成一个闭环的控制系统。
关键创新：最重要的技术创新在于将动作以像素级的方式表达，使得模型不仅能预测场景响应，还能生成与期望结果一致的机器人行为，这与传统方法的直接控制方式有本质区别。
关键设计：模型在训练过程中使用了特定的损失函数，以优化视觉保真度和动作可控性，网络结构采用了深度卷积神经网络，结合了视频序列的时序信息。通过仅15小时的微调，模型在多样场景中表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过15小时的微调，模型在多种场景中实现了强大的视觉保真度和可控性，能够有效预测机器人动作的结果，并在决策过程中提高了候选未来的排名，显著提升了模型的决策能力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化控制和虚拟现实等。通过提升机器人对环境的理解和交互能力，Masked Visual Actions有望在智能制造、家庭服务机器人等实际场景中发挥重要作用，推动机器人技术的进一步发展。
📄 摘要（原文）
Video models absorb rich priors over how the visual world moves, interacts, and responds to contact, making them promising substrates for robotic world modeling. The central challenge is how to communicate action to such models in a form aligned with the visual space in which they learned these interaction priors, yet still grounded in physical manipulation. We introduce Masked Visual Actions, a pixel-space control interface that expresses action as a partially revealed trajectory of an arbitrary entity in a video. Revealing robot motion makes the model act as a forward dynamics model that predicts the scene's response to low-level robot actions, while revealing desired object motion makes the same model recover robot behavior consistent with that outcome. Finetuned with only 15 hours of masked examples from real videos and simulation, a single checkpoint achieves strong visual fidelity and controllability across diverse scenes and multiple embodiments. In downstream manipulation settings, the model produces imagined rollouts whose outcomes correlate with real-world execution for policy evaluation, improves decision making by ranking candidate futures in model-based planning, and supports inverse modeling by synthesizing robot motion from desired object motion.