KineWorld: Action-Induced Transport Fields for Embodied World Modeling

📄 arXiv: 2610.06349v1 📥 PDF

作者: Ziying Song, Yuchen Liu, Zhuoran Xu, Ziyang Liu, Jian Jin, Jiangtao Su, Haibao Yu, Lei Yang, Yuanpei Chen

分类: cs.CV, cs.RO

发布日期: 2026-10-05

备注: 36 pages. Project page and code: https://modaxiansheng.github.io/KineWorld/

💡 一句话要点

提出KineWorld以解决现有动作条件世界模型不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动作建模 机器人运动学 视觉预测 生成模型 多视图评估

📋 核心要点

  1. 现有的动作条件世界模型在视觉生成目标上采用均匀加权，可能导致与实际预测需求不一致，尤其是在空间稀疏变化的处理上不足。
  2. KineWorld通过引入运动传输提升（KTL）和运动感知世界扩散（TAWD），将运动条件与生成监督的空间分配相结合，从而提高了模型的预测能力。
  3. 在使用ALOHA-AgileX双手操作数据进行训练后，KineWorld在单视图和多视图评估中分别达到了68.95和54.82的得分，显示出显著的性能提升。

📝 摘要（中文）

KineWorld是一个基于动作诱导传输场的世界建模框架，旨在预测候选动作的视觉后果。现有的动作条件世界模型通常采用均匀加权的视觉生成目标，这可能与实际的预测需求不一致。KineWorld通过扩展机器人运动学，将运动条件与生成监督的空间分配相结合，提出了运动传输提升（KTL）和运动感知世界扩散（TAWD）两个关键模块。实验结果表明，KineWorld在单视图评估中获得了68.95的EWMScore-P，在多视图评估中获得了54.82的TWB-Score，支持了从外观拟合向动作后果建模的转变。

🔬 方法详解

问题定义：本论文旨在解决现有动作条件世界模型在视觉生成目标上存在的均匀加权问题，导致模型在处理空间稀疏变化时的不足。

核心思路：KineWorld通过引入运动传输提升（KTL）和运动感知世界扩散（TAWD），将机器人运动学与生成监督的空间分配相结合，以更好地满足实际的预测需求。

技术框架：KineWorld的整体架构包括两个主要模块：Kinematic Transport Lifting（KTL）用于构建与机器人命令运动对齐的传输场，Transport-Aware World Diffusion（TAWD）用于在视频潜在网格上校准运动支持并重新加权未来的RGB流匹配。

关键创新：KineWorld的核心创新在于引入了运动传输的概念，使得模型能够更好地处理与动作相关的视觉后果，从而与现有方法形成明显区别。

关键设计：在训练过程中，KineWorld使用了ALOHA-AgileX双手操作数据，设计了针对运动支持的归一化混合损失函数，以平衡均匀和传输聚焦的分布。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KineWorld在单视图评估中获得了68.95的EWMScore-P，在多视图评估中获得了54.82的TWB-Score，显示出相较于传统方法的显著性能提升，支持了从外观拟合向动作后果建模的转变。

🎯 应用场景

KineWorld的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过更准确地预测动作后果，该模型能够提升机器人与环境的交互能力，进而推动智能体在复杂环境中的决策能力和自主性。

📄 摘要（原文）

Embodied world models predict the visual consequences of candidate actions before execution. However, existing action-conditioned world models often adopt uniformly weighted visual generation objectives that can be misaligned with embodied prediction needs. Even with explicit motion conditioning, these objectives can underemphasize spatially sparse changes that are critical to interaction. We propose KineWorld, a transport-aware world-modeling framework that extends robot kinematics from motion conditioning to the spatial allocation of generative supervision. Kinematic Transport Lifting (KTL) constructs renderer-derived, camera-aligned transport fields from commanded robot motion. Transport-Aware World Diffusion (TAWD) calibrates their motion support on the video-latent grid and reweights future-RGB flow matching through a normalized mixture of uniform and transport-focused distributions. We train KineWorld using ALOHA-AgileX bimanual manipulation data from RoboTwin 2.0. KineWorld achieves an EWMScore-P of 68.95 in single-view evaluation and a TWB-Score of 54.82 in multi-view evaluation. These results support a shift from appearance fitting toward action-consequence modeling for embodied decision-making.