Learning the 4D World through Point Trajectory Forecasting
作者: Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, Inhee Lee, Doosan Baek, Jinil Kim, Taehyun Lim, Hanbyul Joo, Marc Pollefeys, Saining Xie, Jinwoo Shin
分类: cs.CV
发布日期: 2026-10-20
备注: 43 pages; 14 figures
💡 一句话要点
提出视频点模型以解决多视角视频预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多视角视频预测 3D运动轨迹 视频点模型 机器人控制 动态场景理解
📋 核心要点
- 现有方法在多视角视频预测中难以有效整合来自不同相机的信息，导致生成视频的质量和3D运动的准确性不足。
- 本文提出的视频点模型（VPM）通过结合多视角视频历史和语言指令，能够同时预测未来视频和3D轨迹，提升了预测的准确性和一致性。
- 在VP-WorldBench和现有的4D生成基准上，点监督显著提高了视频的保真度和3D运动的准确性，并在模拟和真实机器人实验中提升了动作模型的操作成功率。
📝 摘要（中文）
可靠的多视角预测需要来自不同相机的视频来描述同一演变的3D场景。为此，本文提出了视频点模型（VPM），该模型基于多视角视频历史和语言指令共同预测任意视角的未来视频及持久场景点的3D轨迹。我们扩展了一个预训练的世界模型，集成了相机条件的多视角处理，并增加了一个轨迹头来预测物理点随时间的运动。每个轨迹在所有视角中跟踪单个点，并通过视频生成监督这些轨迹，从而将每个相机中的外观变化锚定到共享的3D运动描述。为支持训练和评估，我们构建了VPM-Data，一个配对同步多视角视频与持久点轨迹的模拟语料库，以及VP-WorldBench，一个跨越模拟和真实环境的预测基准。
🔬 方法详解
问题定义：本文旨在解决多视角视频预测中的信息整合不足问题，现有方法在处理不同相机视角时，难以有效捕捉和描述3D场景的动态变化。
核心思路：论文提出的视频点模型（VPM）通过结合多视角视频历史和语言指令，能够同时预测未来视频和持久场景点的3D轨迹，从而实现更准确的多视角视频生成。
技术框架：VPM的整体架构包括多个模块：首先是相机条件的多视角处理模块，整合来自不同相机的观察；其次是轨迹预测模块，负责跟踪物理点的运动；最后是生成模块，结合视频生成和动作控制。
关键创新：VPM的主要创新在于通过点监督机制，将视频生成与3D运动轨迹的预测相结合，使得不同视角下的外观变化能够与共享的3D运动描述相锚定，这在现有方法中是未曾实现的。
关键设计：在模型设计中，采用了预训练的世界模型，并引入了轨迹头来进行运动预测。损失函数设计上，结合了视频生成的保真度和轨迹预测的准确性，以确保模型在训练过程中能够有效学习。整体网络结构则通过共享的点监督骨干网络来增强视频生成与动作控制的关联性。
🖼️ 关键图片
📊 实验亮点
在VP-WorldBench和现有的4D生成基准上，VPM通过点监督机制显著提高了视频的保真度和3D运动的准确性，相较于视频-only模型，提升幅度达到了XX%（具体数据未知）。在模拟和真实机器人实验中，动作启用模型的操作成功率也得到了显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等，能够在复杂环境中实现更高效的动态场景理解和交互。通过提升多视角视频的生成质量和3D运动的准确性，未来可在智能机器人和自动化系统中发挥重要作用。
📄 摘要（原文）
Reliable multi-view forecasting requires videos from different cameras to describe the same evolving 3D scene. To this end, we introduce Video-Point Model (VPM), a world model that conditions on multi-view video histories and a language instruction to jointly forecast future videos from arbitrary viewpoints and the 3D trajectories of persistent scene points. We extend a pretrained world model with camera-conditioned multi-view processing that integrates complementary observations across cameras, and add a trajectory head that predicts how physical points move through time. Each trajectory tracks a single point across all views, and supervising these trajectories alongside video generation therefore anchors appearance changes in every camera to a shared description of 3D motion. To support training and evaluation, we build VPM-Data, a simulation corpus pairing synchronized multi-view videos with persistent point trajectories, and VP-WorldBench, a forecasting benchmark spanning simulated and real environments. We further extend VPM to robot control by adding robot actions as a token modality in the generator. Action tokens share the point-supervised backbone and are denoised jointly with future videos, thereby grounding the policy in the same 3D-aware representation. On VP-WorldBench and existing 4D generation benchmarks, point supervision improves both video fidelity and 3D motion accuracy over a video-only counterpart, and in simulated and real-robot experiments, it also raises the manipulation success of the action-enabled model.