Skeleton-Grounded Latent Action Model for Robot World Models

📄 arXiv: 2610.31474v1 📥 PDF

作者: Qi Lv, Jiayi Lin, Yuxin Jiang, Jianzong Wang, Xiang Deng, Mike Shou Zheng

分类: cs.RO

发布日期: 2026-10-22

备注: Project Page: https://aopolin-lv.github.io/SkeLAM/

💡 一句话要点

提出Skeleton-Grounded潜在动作模型以解决机器人世界建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人世界建模 潜在动作模型 骨架引导 跨模态重建 运动学组件 残差组件 自主导航 人机协作

📋 核心要点

  1. 现有的潜在动作模型在将机器人运动与环境响应混合时，导致与机器人控制的对应关系复杂，影响建模效果。
  2. 本文提出的SkeLAM模型通过骨架引导将潜在动作分解为运动学组件和残差组件，从而简化了控制与环境动态的对应关系。
  3. 实验结果表明，SkeLAM在DROID数据集上显著提升了模型性能，末端执行器ADE减少19.5%，LPIPS减少11.1%。

📝 摘要（中文）

机器人世界模型模拟环境如何响应机器人动作的演变。潜在动作模型通过将视觉转变编码为代理动作来学习动态。然而，重建驱动的潜在动作将机器人运动与物体响应及其他场景变化混合，导致与机器人控制的对应关系复杂化。本文提出了SkeLAM，一个基于骨架引导的潜在动作模型，用于可控的机器人世界建模。SkeLAM将潜在动作分解为由机器人骨架监督的运动学组件和保留互补视觉动态的残差组件。跨模态交换重建鼓励RGB和骨架导出的运动学表示在视频重建中可互换。该世界模型通过独立的条件路径结合这两个组件，同时分支丢弃减少对未来导出残差信息的依赖。在推理时，该模型根据当前观察和机器人动作生成未来观察。在DROID上，SkeLAM相比DreamDojo减少了19.5%的末端执行器ADE和11.1%的LPIPS。

🔬 方法详解

问题定义：本文旨在解决现有潜在动作模型在机器人控制与环境动态之间对应关系复杂化的问题，导致建模效果不佳。

核心思路：SkeLAM通过将潜在动作分解为运动学和残差组件，利用骨架引导简化控制与环境动态的关系，从而提高模型的可控性和准确性。

技术框架：SkeLAM的整体架构包括两个主要模块：运动学组件和残差组件。运动学组件由骨架监督引导，残差组件则保留视觉动态。模型通过独立的条件路径结合这两个组件，并使用分支丢弃技术减少对未来信息的依赖。

关键创新：SkeLAM的创新在于其骨架引导的潜在动作分解方法，显著提高了模型在生成和控制方面的灵活性，与现有方法相比，提供了更清晰的控制信号。

关键设计：模型采用轻量级适配器将机器人动作映射到运动学空间，并在后续的世界模型微调中适应生成条件。损失函数设计上，跨模态交换重建鼓励RGB和骨架导出的运动学表示互换，增强了模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SkeLAM在DROID数据集上的实验结果显示，模型在末端执行器ADE上减少了19.5%，LPIPS减少了11.1%，相较于DreamDojo表现出显著的性能提升。此外，模型实现了零-shot人类到机器人动作的转移，展示了其在实际应用中的潜力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人自主导航、交互和人机协作等领域。通过提高机器人对环境动态的理解和控制能力，SkeLAM能够促进更智能的机器人系统的开发，推动智能制造、服务机器人等行业的进步。

📄 摘要（原文）

Robot world models simulate how environments evolve in response to robot actions. Latent action models enable learning dynamics from videos by encoding visual transitions as proxy actions. However, reconstruction-driven latent actions mix robot motion with object responses and other scene changes, complicating their correspondence with robot controls. We propose SkeLAM, a skeleton-guided latent action model for controllable robot world modeling. SkeLAM decomposes latent actions into a kinematic component grounded by robot skeleton supervision and a residual component retaining complementary visual dynamics. Cross-modal swap reconstruction encourages RGB-derived and skeleton-derived kinematic representations to be interchangeable during video reconstruction. The world model incorporates both components through separate conditioning pathways, while branch dropout reduces its dependence on future-derived residual information. A lightweight adapter maps robot actions to the kinematic space, and subsequent world-model fine-tuning adapts generation to these predicted conditions. At inference, the model generates future observations from the current observation and robot actions. On DROID, SkeLAM reduces end-effector ADE by 19.5% and LPIPS by 11.1% compared with DreamDojo. Motion probing supports kinematic specialization, while qualitative results demonstrate zero-shot human-to-robot motion transfer in generated rollouts. Policy evaluation shows agreement between predicted success rates and those measured in real robot executions.