PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

📄 arXiv: 2610.02840v1 📥 PDF

作者: Chunghyun Park, Beomjun Kim, Seungcheol Park, Heeseung Kwon, Yashu Shukla, Seunghoon Sim, Jinwoo Shin, Minsu Cho

分类: cs.RO, cs.CV

发布日期: 2026-10-02

备注: Preprint. Project page: https://chrockey.github.io/PointWAM

💡 一句话要点

提出PointWAM以解决3D空间中灵巧机器人操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D动作预测 灵巧操作 机器人学习 深度学习 多模态学习

📋 核心要点

  1. 现有方法在捕捉灵巧操作所需的3D空间结构和接触几何方面存在不足，导致机器人动作预测不准确。
  2. 论文提出PointWAM，通过将世界分解为场景和手的3D点轨迹，联合预测二者的演变，提升了动作预测的准确性。
  3. 实验结果显示，PointWAM在DexJoCo任务上成功率提高了56.9个百分点，并在多个任务中超越了现有最优方法。

📝 摘要（中文）

世界动作模型共同学习预测世界动态和机器人动作，使得学习到的内部世界动态能够指导准确的动作。现有方法通常将世界表示为RGB帧或潜在对应物，并将动作预测为末端执行器姿态或关节角度，但在捕捉灵巧操作所需的3D空间结构和接触几何方面存在困难。我们提出了Point World Action Model（PointWAM），一种3D世界动作模型，将世界分解为场景（环境）和手（执行者），并在共享的时空坐标框架内共同预测这两者作为3D点轨迹。这种明确的、解耦的表示使得在大规模人类示范视频上进行有效的预训练成为可能，而无需任何特定任务的物体或关键点选择。给定彩色点云和语言指令，PointWAM预测场景和手在3D空间中的共同演变，然后将预测的手部运动重新定向到机器人动作上。预训练在人类视频上使得DexJoCo的平均成功率提高了56.9个百分点，场景轨迹监督在仅预测手部的基础上又增加了10.9个百分点。结合两者，PointWAM在十个DexJoCo任务上超越了之前的最先进水平11.7个百分点，并在真实机器人上超越了强大的视觉语言模型。

🔬 方法详解

问题定义：本论文旨在解决灵巧机器人操作中，现有方法无法有效捕捉3D空间结构和接触几何的问题。这导致机器人在执行复杂操作时，动作预测的准确性不足。

核心思路：论文的核心思路是引入PointWAM模型，通过将世界分解为场景和手的3D点轨迹，联合预测二者的动态演变。这种解耦的表示方式使得模型能够更好地理解和预测复杂的操作过程。

技术框架：PointWAM的整体架构包括输入彩色点云和语言指令，通过深度学习网络预测场景和手的3D轨迹。模型首先进行预训练，然后在特定任务上进行微调，以提升预测精度。

关键创新：最重要的技术创新在于PointWAM的解耦表示方式，它将场景和手的动态分开处理，显著提高了对3D空间结构的理解能力。这与现有方法的RGB帧或潜在表示方式形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化场景和手的轨迹预测，并使用了多层卷积神经网络结构，以增强模型的特征提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PointWAM在DexJoCo任务上的平均成功率提高了56.9个百分点，场景轨迹监督带来了额外的10.9个百分点提升。结合这两者，PointWAM在十个任务上超越了之前的最先进水平11.7个百分点，并在真实机器人上表现优异。

🎯 应用场景

该研究的潜在应用领域包括人形机器人、自动化制造、虚拟现实等。通过提升机器人在复杂环境中的操作能力，PointWAM能够为智能制造和人机协作提供更高效的解决方案，未来可能在家庭服务、医疗辅助等领域发挥重要作用。

📄 摘要（原文）

World action models jointly learn to forecast world dynamics and predict robot actions, such that the learned internal world dynamics guide accurate actions. Existing approaches typically represent the world as RGB frames or latent counterparts while predicting actions as end-effector poses or joint angles, but they often struggle to capture the 3D spatial structure and contact geometry central to dexterous manipulation. We introduce Point World Action Model (PointWAM), a 3D world action model that decomposes the world into a scene (i.e., environment) and hands (i.e., actor), and jointly forecasts both as 3D point trajectories within a shared space-time coordinate frame. This explicit, disentangled representation enables effective pre-training on large-scale human demonstration videos without requiring any task-specific object or keypoint selection. Given a colored point cloud and a language instruction, PointWAM predicts how the scene and hands co-evolve in 3D space over time, then retargets the forecast hand motion to robot actions. Pre-training on human videos improves average DexJoCo success by 56.9 percentage points, and scene-trajectory supervision adds 10.9 points over forecasting the hands alone. With both, PointWAM surpasses the prior state of the art on ten DexJoCo tasks by 11.7 points and outperforms strong VLAs on a real robot.