Learning 3D Particle-based Simulators from RGB-D Videos

📄 arXiv: 2312.05359v1 📥 PDF

作者: William F. Whitney, Tatiana Lopez-Guevara, Tobias Pfaff, Yulia Rubanova, Thomas Kipf, Kimberly Stachenfeld, Kelsey R. Allen

分类: cs.LG

发布日期: 2023-12-08

💡 一句话要点

提出Visual Particle Dynamics，从RGB-D视频中学习三维粒子模拟器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 三维模拟 粒子动力学 视频预测 RGB-D视频 神经模拟器 场景编辑 无监督学习

📋 核心要点

  1. 现有学习型模拟器依赖精确的物体几何或粒子轨迹等特权信息，限制了其在真实场景中的应用。
  2. VPD通过联合学习潜在粒子表示、神经模拟器和渲染器，直接从RGB-D视频中学习模拟器，无需特权信息。
  3. 实验表明，VPD的3D结构支持场景编辑和长期预测，优于现有2D视频预测模型，为下游应用奠定基础。

📝 摘要（中文）

逼真的模拟对于机器人和动画等应用至关重要。传统的解析模拟器有时难以捕捉到足够逼真的模拟，这可能导致诸如机器人技术中众所周知的“sim-to-real”差距等问题。学习型模拟器已经成为更好地捕捉真实世界物理动态的替代方案，但需要访问特权ground truth物理信息，例如精确的物体几何形状或粒子轨迹。本文提出了一种直接从观测中学习模拟器的方法，即Visual Particle Dynamics (VPD)。VPD联合学习三维场景的潜在粒子表示、潜在粒子动力学的神经模拟器以及可以从任意视角生成场景图像的渲染器。VPD从带姿态的RGB-D视频端到端学习，不需要访问特权信息。与现有的2D视频预测模型不同，我们证明了VPD的3D结构能够实现场景编辑和长期预测。这些结果为从视频编辑到机器人规划的下游应用铺平了道路。

🔬 方法详解

问题定义：现有学习型模拟器需要访问精确的物体几何形状或粒子轨迹等特权信息，这在实际应用中通常是不可行的。因此，如何仅从观测数据（例如RGB-D视频）中学习逼真的三维物理模拟器是一个重要的挑战。现有方法的痛点在于对特权信息的依赖，以及难以进行长期预测和场景编辑。

核心思路：VPD的核心思路是将三维场景表示为一组潜在粒子，并学习这些粒子的动力学。通过学习一个神经模拟器来预测这些粒子的未来状态，并使用一个渲染器将这些粒子投影回图像空间。这种基于粒子的表示方法能够捕捉场景的三维结构，从而实现长期预测和场景编辑。

技术框架：VPD包含三个主要模块：1) 粒子编码器：将RGB-D视频帧编码为一组潜在粒子，每个粒子包含位置、速度等信息。2) 神经模拟器：一个神经网络，用于预测这些粒子的未来状态，模拟物理动力学。3) 渲染器：将这些粒子投影回图像空间，生成RGB图像。整个框架通过端到端的方式进行训练，目标是最小化预测图像与真实图像之间的差异。

关键创新：VPD的关键创新在于它能够从RGB-D视频中学习三维粒子表示，并使用神经模拟器来预测这些粒子的动力学。与现有的2D视频预测模型不同，VPD的3D结构使其能够进行场景编辑和长期预测。此外，VPD不需要访问特权信息，使其更适用于真实场景。

关键设计：粒子编码器可以使用各种神经网络结构，例如3D卷积神经网络或PointNet。神经模拟器可以使用图神经网络或循环神经网络来模拟粒子之间的相互作用。渲染器可以使用可微分渲染技术，例如Neural Radiance Fields (NeRF) 或 Mesh Renderer。损失函数通常包括图像重建损失（例如L1或L2损失）以及正则化项，以鼓励学习到的粒子表示具有良好的性质。

📊 实验亮点

VPD在多个合成数据集上进行了评估，结果表明VPD能够学习到逼真的三维物理模拟器，并能够进行长期预测和场景编辑。与现有的2D视频预测模型相比，VPD在长期预测任务上取得了显著的性能提升。此外，实验还表明VPD能够成功地用于场景编辑任务，例如添加或删除场景中的物体。

🎯 应用场景

VPD具有广泛的应用前景，包括视频编辑、机器人规划、游戏开发和虚拟现实等领域。例如，在视频编辑中，VPD可以用于修改场景中的物体或添加新的物体，并生成逼真的物理效果。在机器人规划中，VPD可以用于预测机器人在不同环境中的行为，从而帮助机器人做出更明智的决策。此外，VPD还可以用于生成逼真的游戏场景和虚拟现实体验。

📄 摘要（原文）

Realistic simulation is critical for applications ranging from robotics to animation. Traditional analytic simulators sometimes struggle to capture sufficiently realistic simulation which can lead to problems including the well known "sim-to-real" gap in robotics. Learned simulators have emerged as an alternative for better capturing real-world physical dynamics, but require access to privileged ground truth physics information such as precise object geometry or particle tracks. Here we propose a method for learning simulators directly from observations. Visual Particle Dynamics (VPD) jointly learns a latent particle-based representation of 3D scenes, a neural simulator of the latent particle dynamics, and a renderer that can produce images of the scene from arbitrary views. VPD learns end to end from posed RGB-D videos and does not require access to privileged information. Unlike existing 2D video prediction models, we show that VPD's 3D structure enables scene editing and long-term predictions. These results pave the way for downstream applications ranging from video editing to robotic planning.