DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models

📄 arXiv: 2610.30781v1 📥 PDF

作者: Adam Lee, Mutian Xu, Yukang Cao, Shulin Tian, Ziwei Liu

分类: cs.CV

发布日期: 2026-10-22

备注: Project page: https://dexplicit.github.io

💡 一句话要点

提出DeXplicit以解决物理状态显式化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理状态预测 三维动态网络 视频生成 机器人操作 因果生成

📋 核心要点

  1. 现有方法将动作条件动态与视觉合成混合，缺乏对物体结构的明确表示，导致预测精度不足。
  2. DeXplicit通过在三维空间中显式预测世界演变，提供了以物体为中心的运动和变形，从而改善了动态预测的准确性。
  3. 在HOT3D、OakInk2和PhysTwin数据集上，DeXplicit相较于PointWorld减少了27-40%的移动点误差，并在HOT3D上提高了47%的物体保真度IoU+。

📝 摘要（中文）

在对物体进行操作之前，机器人需要预测手部动作如何改变物理世界及其结果场景。现有方法通常将动作条件动态、相机运动和视觉合成纠缠在一起，或将动态表示为没有显式物体结构的点轨迹。我们提出了DeXplicit，一个灵巧操作世界模型，它在渲染视觉结果之前，明确预测世界如何在三维空间中演变。给定初始场景和未来手部轨迹，轻量级三维动态网络预测以物体为中心的运动和变形，提供结构化和几何基础的未来世界状态。这些预测为视频生成提供了强有力的支撑：外观通过预测的三维运动进行传输并投影到未来视图中，使渲染器能够专注于完成不确定和新可见内容，而不是从像素中隐式学习世界动态。该显式三维优先的分解还实现了高效的因果生成，每个块仅需两个去噪步骤，同时依赖于生成的历史。

🔬 方法详解

问题定义：本论文旨在解决机器人在执行操作时对物理世界变化的预测问题。现有方法通常将动态与视觉合成混合，缺乏对物体结构的明确建模，导致预测效果不佳。

核心思路：我们提出的DeXplicit模型通过在三维空间中显式预测物体的运动和变形，提供了结构化的未来世界状态。这种方法使得视频生成过程可以更专注于不确定性内容的补全，而不是依赖于像素学习动态。

技术框架：DeXplicit的整体架构包括一个轻量级的三维动态网络，该网络接收初始场景和未来手部轨迹作为输入，输出物体中心的运动和变形预测。这些预测结果随后用于视频生成，确保外观的传输和未来视图的投影。

关键创新：DeXplicit的核心创新在于其显式的三维优先分解策略，允许在生成过程中进行高效的因果推理，显著提高了生成速度和精度。这与传统方法的隐式学习方式形成了鲜明对比。

关键设计：该模型采用了双向配置的14B参数设置，使用了两步去噪过程来实现因果生成，确保了生成的历史信息能够有效地影响后续的预测和渲染。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DeXplicit在HOT3D、OakInk2和PhysTwin数据集上表现出色，相较于PointWorld减少了27-40%的移动点误差，并在HOT3D上提高了47%的物体保真度IoU+。此外，采用两步因果生成的设计使得视频合成速度提升了57倍，显示出该方法在效率和准确性上的显著优势。

🎯 应用场景

DeXplicit的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供更准确的物理状态预测，该模型可以提升机器人在复杂环境中的操作能力，增强用户在虚拟环境中的沉浸感和交互体验。未来，该技术有望推动智能机器人和虚拟助手的发展，使其能够更自然地与物理世界互动。

📄 摘要（原文）

Before acting on an object, a robot needs to anticipate how its hand motion will change the physical world and what the resulting scene will look like. Existing approaches typically entangle action-conditioned dynamics, camera motion, and visual synthesis within a video generation model, or represent dynamics as point trajectories without explicit object structure. We introduce DeXplicit, a dexterous manipulation world model that instead predicts how the world evolves explicitly in metric 3D before rendering its visual consequences. Given an initial scene and a future hand trajectory, a lightweight 3D dynamics network predicts object-centric motion and deformation, providing structured and geometrically grounded future world states. These predictions then serve as a strong scaffold for video generation: appearance is transported through the predicted 3D motion and projected into future views, allowing the renderer to focus on completing uncertain and newly visible content rather than implicitly learning world dynamics from pixels. This explicit-3D-first decomposition also enables efficient causal generation, requiring only two denoising steps per block while conditioning on generated history. Across HOT3D, OakInk2, and PhysTwin, DeXplicit reduces moved-point error by 27-40% relative to PointWorld and improves object fidelity IoU+ by 47% on HOT3D under a shared renderer. Our design with two-step causal generation achieves a 57x speedup from our 14B bi-directional configuration in video synthesis.