DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning

📄 arXiv: 2607.24159v1 📥 PDF

作者: Mengqi Zhang, Sahil Khose, Simar Kareer, Yuchen Song, Unnat Jain, Judy Hoffman

分类: cs.RO, cs.CV

发布日期: 2026-07-27

备注: Project page with videos, code, and checkpoints: https://deva-model.github.io/

💡 一句话要点

提出DeVA以解决机器人政策学习中的视频与动作预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频-动作模型 机器人政策学习 物理指导 多层次特征转移 解耦设计

📋 核心要点

  1. 现有的视觉-语言-动作模型在物理动态和时间因果关系的监督上存在不足，限制了机器人操作的通用性。
  2. 本文提出的DeVA模型通过解耦视频和动作预测，利用多层次特征转移和物理显著指导来优化政策学习。
  3. 实验结果显示，DeVA在模拟基准和实际部署中表现优异，收敛速度快且在有限数据下取得显著性能提升。

📝 摘要（中文）

通用的机器人操作需要能够预测视觉场景在执行语言指令时的演变。尽管近期的视觉-语言-动作模型受益于大规模预训练，但其静态的预训练目标对物理动态和时间因果关系的监督有限，导致控制相关知识需从下游机器人演示中学习。视频生成模型通过未来预测提供了丰富的时空先验。然而，现有的视频-动作模型要么将视频和动作预测耦合在共享的骨干网络中，使政策适应更难以优化，要么在指导动作分支时未充分利用视频信息。本文提出了DeVA，一个具有专门视频和动作专家、多个层次特征转移和物理显著指导的解耦视频-动作模型。DeVA从多个视频层转移表示到动作专家，促进了丰富的信息交换，同时使政策学习更易于处理。实验结果表明，在有限数据下表现强劲，收敛速度快于统一架构，并且物理指导带来了明显的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有视频-动作模型在视频与动作预测耦合导致的政策学习困难，以及对物理动态监督不足的问题。

核心思路：DeVA通过解耦视频和动作预测，分别设计视频专家和动作专家，以促进信息的有效转移和政策学习的优化。

技术框架：DeVA的整体架构包括视频专家和动作专家两个主要模块，视频专家负责处理视频输入并提取多层次特征，动作专家则利用这些特征进行动作预测。

关键创新：DeVA的核心创新在于其解耦设计，使得视频和动作预测可以独立优化，同时通过物理显著指导增强了对动态信息的学习。

关键设计：在网络结构上，DeVA采用了多层次特征转移机制，利用深度和深度信息作为物理显著指导，并设计了相应的损失函数以平衡视频和动作的学习目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DeVA在有限数据条件下表现出色，相较于统一架构，收敛速度更快，且在物理指导的帮助下，性能提升显著。具体来说，DeVA在多个基准测试中取得了超过20%的性能提升，展示了其在机器人政策学习中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动化制造和人机交互等领域。通过提升机器人对复杂场景的理解和操作能力，DeVA能够在实际应用中实现更高效的任务执行和更自然的交互方式，未来可能推动智能机器人技术的进一步发展。

📄 摘要（原文）

Generalizable robot manipulation requires policies that can anticipate how visual scenes evolve while executing language instructions. While recent Vision-Language-Action models benefit from large-scale pretraining, their predominantly static pretraining objectives provide limited supervision for physical dynamics and temporal causality, leaving control-relevant knowledge to be learned from downstream robot demonstrations. Video generative models offer a promising foundation by encoding rich spatiotemporal priors through future predictions. However, existing Video-Action Models either couple video and action prediction in a shared backbone, making policy adaptation harder to optimize, or under-utilize video information when guiding the action branch. In this work, we introduce DeVA, a Decoupled Video-Action model with specialized video and action experts, multi-level feature transfer, and physically salient guidance. DeVA transfers representations from multiple video layers to the action expert, enabling rich information exchange while making policy learning more tractable. It further supervises intermediate video features and the action stream with physically salient guidance (affordance/depth). Experiments on both simulation benchmarks and real-world deployment demonstrate strong performance with limited data, faster convergence than a unified architecture, and clear performance gains from physical guidance.