PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

📄 arXiv: 2609.19142v1 📥 PDF

作者: Bardienus P. Duisterhof, Kaifeng Zhang, Adam Hung, Bowen Wen, Stan Birchfield, Yunzhu Li, Deva Ramanan, Jeffrey Ichnowski

分类: cs.CV, cs.RO

发布日期: 2026-09-16

备注: https://pointzero-wm.github.io/

💡 一句话要点

提出PointZero以解决无机器人数据的3D动态学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D动态学习 轨迹补全 无监督学习 Transformer 机器人控制 虚拟现实 增强现实

📋 核心要点

  1. 现有方法依赖机器人动作标签，限制了可用于训练的数据来源，影响了3D动态学习的广泛性。
  2. 本文提出通过3D点轨迹补全作为预训练目标，利用单一RGB-D观察和稀疏部分3D轨迹来预测未来轨迹。
  3. PointZero在下游任务中表现优异，特别是在PGND 3D动态基准测试中，超越了多个基线方法。

📝 摘要（中文）

世界模型赋予感知系统在交互下预测场景演变的能力。现有方法通常需要机器人动作标签来学习动作条件下的3D动态，这限制了网络视频数据的使用。本文研究了3D点轨迹补全作为预训练目标，以在没有机器人数据的情况下学习可转移的3D动态。我们展示了该目标能够生成丰富的3D动态先验，并贡献了一个包含290万合成帧的多样化数据集。通过训练灵活的Transformer模型PointZero，我们在两个下游应用中验证了其有效性，分别是动作条件下的3D动态预测和模仿学习，均超越了基线方法。

🔬 方法详解

问题定义：本文旨在解决在缺乏机器人动作标签的情况下，如何有效学习可转移的3D动态。现有方法的痛点在于对训练数据的依赖性过强，限制了模型的泛化能力。

核心思路：通过3D点轨迹补全作为预训练目标，利用单一RGB-D图像和稀疏的3D轨迹来预测未来的3D轨迹，从而生成丰富的3D动态先验。这样的设计使得模型能够在没有机器人数据的情况下进行有效学习。

技术框架：整体架构包括数据预处理、轨迹补全模块和动态预测模块。数据预处理阶段负责将RGB-D图像转换为可用的3D点云，轨迹补全模块则利用Transformer架构进行未来轨迹的预测。

关键创新：最重要的技术创新在于提出了一种新的预训练目标，能够在没有机器人动作标签的情况下学习3D动态。这一方法与现有依赖动作标签的学习方式本质上不同，拓宽了数据来源。

关键设计：在网络结构上，PointZero采用了灵活且表达能力强的Transformer架构。损失函数设计上，结合了轨迹预测的准确性和多样性，以确保生成的轨迹既准确又具有代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PointZero在PGND 3D动态基准测试中表现优异，超越了多个基线方法。在6个模拟和真实世界的机器人操作任务中，PointZero在预测机器人动作和3D轨迹方面的表现与基线相当或更优，展示了其强大的适应性和性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、虚拟现实和增强现实等。通过学习可转移的3D动态，PointZero能够在多种场景中实现更智能的交互，提升自动化系统的效率和灵活性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

World models endow perceptual systems with the ability to predict how scenes evolve under interaction. They are most beneficial when trained on diverse volumes of data, to instill a rich prior into downstream applications. Existing methods typically require robot action labels to learn action-conditioned 3D dynamics, which excludes web video data from the training pool. We study 3D point track completion as a pre-training objective for learning transferable 3D dynamics without robot data. Given a single RGB-D observation and sparse partial 3D trajectories (tracks), we predict future 3D tracks of all observed points. We show this objective produces a rich 3D dynamics prior, without requiring robot action labels. We contribute a diverse dataset of 2.9 million synthetic frames spanning deformable, articulated, and rigid objects, and use it to train PointZero. We show that a flexible and expressive transformer, PointZero, outperforms prior methods on the same data. We demonstrate the utility of our pre-training objective by post-training PointZero for two downstream applications: (1) action-conditioned 3D dynamics prediction and (2) imitation learning. When fine-tuned to condition on end-effector pose, PointZero outperforms the baselines on the recent PGND 3D dynamics benchmark. When fine-tuned to predict robot actions and 3D tracks, PointZero outperforms or matches the baselines on 6/7 simulated and real-world robot manipulation tasks. We furthermore evaluate training PointZero from scratch to isolate the benefits of our proposed architecture from those of our proposed pre-training objective and dataset. We release the dataset, checkpoints, and full training recipe.