Native Action-Prior Learning from Videos for World Action Models

📄 arXiv: 2610.03391v1 📥 PDF

作者: Zhaochong An, Fei Zhang, Menglin Jia, Duncan Frost, Zijian Zhou, Yikai Wang, Xudong Wang, Aditya Patel, Belinda Zeng, Tao Xiang, Serge Belongie, Amir Bar, Sen He

分类: cs.CV, cs.RO

发布日期: 2026-10-02

备注: Project Page: https://zhaochongan.github.io/projects/NAVA-WAM

💡 一句话要点

提出NAVA-WAM以解决机器人动作预测的标注依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动作预测 机器人控制 视频理解 无监督学习 视觉动态 动作标注效率 深度学习

📋 核心要点

  1. 现有方法在机器人动作预测中依赖于动作标注的轨迹，限制了其可扩展性和效率。
  2. NAVA-WAM通过直接从观察视频中预训练动作策略，避免了传统方法中的间接转移和潜在动作模型。
  3. 实验结果显示，NAVA-WAM在分布内和分布外设置下均表现优异，提升了动作标注效率和机器人泛化能力。

📝 摘要（中文）

世界动作模型将未来视觉动态与机器人动作预测相结合，但其可扩展性受到动作标注轨迹的限制。现有方法通常依赖于预训练视觉表示或推断潜在动作，而NAVA-WAM通过直接从观察视频中预训练动作策略，避免了间接的表示到控制的转移。该方法分为两个阶段：首先在观察视频上进行预训练，通过未来视频流匹配监督优化Action-DiT；其次利用动作标注示例进行后训练，增强机器人控制能力。实验表明，NAVA-WAM在多种设置下均优于现有方法，展现出强大的动作标注效率和实际机器人泛化能力。

🔬 方法详解

问题定义：本论文旨在解决现有世界动作模型在机器人动作预测中对动作标注轨迹的依赖问题。现有方法通常需要大量的标注数据，限制了其在实际应用中的可扩展性。

核心思路：NAVA-WAM的核心思路是通过直接从观察视频中预训练动作策略，避免了间接的表示到控制的转移或单独的潜在动作模型，从而实现更高效的学习过程。

技术框架：该方法分为两个主要阶段：第一阶段在观察视频上进行预训练，采用未来视频流匹配监督优化Action-DiT；第二阶段利用动作标注示例进行后训练，通过联合视频-动作流匹配提升机器人控制能力。

关键创新：NAVA-WAM的关键创新在于引入了原生动作先验学习，直接从观察视频中预训练动作策略，这与现有方法的间接学习方式形成了本质区别。

关键设计：在技术细节上，采用了转移结构的联合注意力机制来优化视觉过渡，使用了不对称注意力以解耦视觉分支与迭代动作去噪，从而实现高效的动作推断。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NAVA-WAM在多种设置下均显著优于现有方法，尤其是在动作标注效率和实际机器人泛化能力方面。具体而言，该方法在分布内和分布外的测试中均表现出更高的准确性和鲁棒性，展示了其在真实场景中的有效性。

🎯 应用场景

NAVA-WAM的研究成果在机器人控制、自动化和智能交互等领域具有广泛的应用潜力。通过减少对动作标注数据的依赖，该方法能够促进机器人在复杂环境中的自主学习和适应能力，推动智能机器人技术的进一步发展。

📄 摘要（原文）

World action models integrate future visual dynamics with robot action prediction, but their scalability remains limited by the need for action-annotated robot trajectories. Observation-only videos contain rich evidence about interaction dynamics, but existing approaches typically use them either to pretrain visual representations that must later be adapted for control, or to infer latent actions that are subsequently grounded to robot commands. We present NAVA-WAM, which introduces native action-prior learning by directly pretraining the action policy from observation-only videos, avoiding indirect representation-to-control transfer or a separate latent-action model. Our training consists of two stages. First, we pretrain on observation-only videos, where future-video flow-matching supervision over visual transitions is propagated through transition-structured joint attention to optimize the Action-DiT and learn action-relevant priors. Second, we use action-labeled demonstrations to post-train the Action-DiT for robot control through joint video--action flow matching, while asymmetric attention decouples the visual branch from iterative action denoising and enables efficient action-only inference. Extensive experiments show that NAVA-WAM consistently outperforms prior approaches under both in-distribution and out-of-distribution settings, while demonstrating strong action-label efficiency and effective real-robot generalization. These results establish native action-prior learning as an effective approach to directly pretrain action policies from observation-only videos, providing a scalable path beyond action-labeled robot data.