Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
作者: Zirui Wu, Chen Guo, Tianjian Jiang, Zeren Jiang, Zeming Li, Lingchen Yang, Longteng Duan, Ying Xue, Handi Yin, Shenyuan Gao, Martin R. Oswald, Jun Zhang, Ping Tan, Jie Song
分类: cs.CV, cs.RO
发布日期: 2026-10-15
💡 一句话要点
提出P³-WAM模型以解决自我中心灵巧操作中的感知与规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心操作 3D感知 动作预测 目标导向规划 多模态融合 视频生成 机器人技术
📋 核心要点
- 现有方法在自我中心灵巧操作中面临感知、预测和规划能力不足的挑战，难以实现高效的多模态融合。
- 论文提出的P³-WAM模型通过感知、预测和规划三种模式的统一训练，提升了3D感知和动作生成的能力。
- 实验结果显示，P³-WAM在多个数据集上超越了专门化基线，尤其在3D手部重建和视频生成的指令遵循方面表现优异。
📝 摘要（中文）
我们提出了P³-WAM，一个统一的世界动作模型，旨在通过三个互补模式学习自我中心灵巧操作的3D感知、动作条件预测和目标导向规划。该模型通过从视频中重建关节手部运动和相机轨迹的感知模式、在规定动作下生成视觉未来的预测模式，以及在初始图像、语言指令和可选视觉目标的条件下共同生成动作轨迹及其预期视觉后果的规划模式，来实现其功能。实验表明，统一训练在3D手部重建和动作条件视频预测上超越了单模式训练，且在生成符合指令的目标导向操作视频方面表现优于视频生成基线。
🔬 方法详解
问题定义：本论文旨在解决自我中心灵巧操作中感知、预测和规划能力不足的问题。现有方法通常在多模态融合和任务执行的连贯性上存在局限性，难以有效处理复杂的操作场景。
核心思路：P³-WAM模型通过统一训练的方式，将感知、预测和规划三种模式结合在一起，利用共享的基础权重和特定模态的适应性设计，提升模型在多模态任务中的表现。
技术框架：该模型的整体架构包括三个主要模块：感知模块负责从视频中重建手部运动和相机轨迹；预测模块在给定动作的条件下生成未来视觉；规划模块则在初始图像和语言指令的基础上生成动作轨迹及其预期视觉后果。
关键创新：P³-WAM的核心创新在于其混合变换器架构和随机模态可见性设计，使得视频和3D动作可以在不同模式中灵活转换，显著提高了模型的适应性和性能。
关键设计：模型采用了紧凑的结构化3D动作表示，结合了预训练的视频扩散变换器，使用双向视觉-动作注意力机制，确保了不同模态之间的有效交互。
🖼️ 关键图片
📊 实验亮点
实验结果表明，P³-WAM在3D手部重建和动作条件视频预测任务中，均超越了现有的专门化基线，尤其在生成符合指令的目标导向操作视频方面，表现出更强的指令遵循性和动作进展性，提升幅度显著。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景，能够为智能助手和自动化系统提供更自然的交互方式。未来，该模型有望推动人机协作的进步，提升自动化任务的效率和准确性。
📄 摘要（原文）
We introduce P$^{3}$-WAM, a unified world action model for egocentric dexterous manipulation that learns 3D perception, action-conditioned prediction, and goal-directed planning through three complementary modes: Perceive, which reconstructs articulated hand motion and camera trajectories from video; Predict, which generates visual futures under prescribed actions; and Plan, which jointly generates action trajectories and their anticipated visual consequences conditioned on an initial image, a language instruction, and an optional visual goal. Our model integrates a compact, structured 3D action representation into a pretrained video diffusion transformer through a mixture-of-transformers architecture with shared base weights, modality-specific adaptation, and bidirectional visual-action attention. Randomized modality visibility lets video and 3D actions serve as either conditioning context or prediction targets across the three modes. Experiments show that unified training improves all three capabilities over single-mode training, including gains in planning quality under a vision-language model evaluation. Through unified training, our model outperforms specialized baselines on 3D hand reconstruction and action-conditioned video prediction across four datasets, while producing goal-directed manipulation videos with stronger instruction adherence and action progression than video-generation baselines. Project Page: https://p3-wam.pages.dev/