SkeleWAM: Skeleton World-Action Modeling for Efficient Robotic Manipulation

📄 arXiv: 2610.02120v1 📥 PDF

作者: Juyi Sheng, Hua Wang, Mengyuan Liu

分类: cs.RO

发布日期: 2026-10-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SkeleWAM以解决机器人操作中的世界动作建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 机器人操作 稀疏3D骨架 动作生成 未来状态预测 几何监督 Medoid Action Consensus

📋 核心要点

  1. 现有的世界动作模型在动作生成和状态预测中存在隐式几何表示的不足，可能导致控制效果不佳。
  2. SkeleWAM通过稀疏3D骨架表示操作场景，提供统一的几何状态，支持动作生成和未来状态预测。
  3. 在LIBERO-Plus上，SkeleWAM实现了85.9%的成功率，相比于基线Cosmos-Policy提升了3.7个百分点。

📝 摘要（中文）

世界动作模型（WAMs）将机器人动作生成与未来状态预测相结合。现有WAMs通常预测视频或学习的视觉潜变量，这些方法仅隐式表示交互几何，并可能保留与控制无关的外观信息。我们提出了SkeleWAM，这是一种紧凑的WAM，通过稀疏3D骨架表示操作场景，骨架由机器人关节、物体中心和交互点组成。该骨架在线构建，基于当前的RGB-D观测和机器人自我感知，为动作生成和未来骨架预测提供统一的几何状态。未来骨架预测为动作学习提供额外的几何监督，而无需视觉重建。在推理阶段，SkeleWAM直接从当前骨架和语言指令生成动作，同时Medoid Action Consensus（MAC）作为随机动作样本的辅助共识策略。在LIBERO-Plus上，SkeleWAM的整体成功率达到85.9%，参数量为57.1M，超越Cosmos-Policy 3.7个百分点。这些结果表明，稀疏3D机器人-物体结构为稳健且参数高效的世界动作学习提供了有效的状态空间。

🔬 方法详解

问题定义：本论文旨在解决现有世界动作模型在动作生成和未来状态预测中的不足，尤其是隐式几何表示导致的控制效果不佳的问题。

核心思路：SkeleWAM通过构建稀疏3D骨架来表示操作场景，骨架由机器人关节、物体中心和交互点组成，提供统一的几何状态以支持动作生成和未来状态预测。

技术框架：整体架构包括在线构建稀疏3D骨架的模块，基于RGB-D观测和机器人自我感知，随后利用该骨架进行动作生成和未来骨架预测。推理阶段结合语言指令生成动作，并通过Medoid Action Consensus（MAC）进行随机样本的共识。

关键创新：SkeleWAM的主要创新在于其稀疏3D骨架表示方法，显著提高了动作学习的几何监督能力，避免了传统方法中对视觉重建的依赖。

关键设计：在参数设置上，SkeleWAM使用了57.1M的参数量，设计了适合稀疏骨架的损失函数和网络结构，以优化动作生成和状态预测的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-Plus数据集上，SkeleWAM实现了85.9%的成功率，相比于基线Cosmos-Policy提升了3.7个百分点，展示了其在稀疏3D结构下的有效性和参数效率。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能制造和人机协作等场景。通过提供高效的动作生成和状态预测能力，SkeleWAM能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

World action models (WAMs) combine robot action generation with future state prediction. Existing WAMs typically predict videos or learned visual latents, which represent interaction geometry only implicitly and may retain appearance information unrelated to control. We introduce SkeleWAM, a compact WAM that represents a manipulation scene as a sparse 3D skeleton composed of robot joints, object centers, and interaction points. Constructed online from current RGB-D observations and robot proprioception, the skeleton provides a unified geometric state for action generation and future skeleton prediction. Future skeleton prediction provides additional geometric supervision for action learning without requiring visual reconstruction. At inference, SkeleWAM generates actions directly from the current skeleton and language instruction, while Medoid Action Consensus (MAC) serves as an auxiliary consensus strategy for stochastic action samples. On LIBERO-Plus, SkeleWAM achieves an overall success rate of 85.9% with 57.1M parameters, outperforming Cosmos-Policy by 3.7 percentage points. These results demonstrate that sparse 3D robot--object structure provides an effective state space for robust and parameter-efficient world action learning. The project is available at https://skelewam-project.github.io/.