Pelican-Sim 1.0: A General World Model Simulator for Embodied Intelligence

📄 arXiv: 2609.12036v1 📥 PDF

作者: Shilong Zou, Shilin Zhang, Yingji Zhang, Yuhang Huang, Yi Zhang, Zeyuan Ding, Han Dong, Junwei Liao, Yong Dai, Jian Tang, Xiaozhu Ju

分类: cs.RO, cs.AI

发布日期: 2026-09-10

备注: Project page: https://zoushilong1024.github.io/Pelican-Sim1.0/

💡 一句话要点

提出Pelican-Sim 1.0以支持具身智能的未来观察预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 具身智能 世界模型 动作表示 视频质量 稀疏混合专家 高效回滚生成 机器人控制 多模态融合

📋 核心要点

  1. 现有方法在处理多样化的机器人动作和视觉信息时，常常面临可控性不足和效率低下的问题。
  2. Pelican-Sim 1.0通过统一的动作表示和动作-视觉注入等设计，提升了不同设备间的可控性和决策支持能力。
  3. 实验结果显示，Pelican-Sim 1.0在多个基准测试中显著提高了视频质量和动作选择的成功率，展示了其强大的应用潜力。

📝 摘要（中文）

在本技术报告中，我们提出了Pelican-Sim 1.0，这是一种通用的世界模型模拟器，旨在通过视觉上下文和机器人动作预测未来观察，以支持下游学习和决策。该模型结合了四个关键设计特征：统一的动作表示、动作-视觉注入、稀疏专家混合模型以及高效的回滚生成。通过对约一百万个真实和模拟轨迹的训练，Pelican-Sim 1.0在动作可控性和视频质量上取得了显著提升，展示了其作为通用世界模型模拟器的潜力。

🔬 方法详解

问题定义：本论文旨在解决现有具身智能模拟器在多样化动作和视觉信息处理中的可控性不足和效率低下的问题。现有方法往往无法有效整合不同设备和场景的动态特性。

核心思路：Pelican-Sim 1.0的核心思路是通过统一的动作表示和高效的回滚生成机制，提升对未来观察的预测能力，从而支持更高效的学习和决策。

技术框架：该模型的整体架构包括四个主要模块：统一的动作表示模块、动作-视觉注入模块、稀疏专家混合模型模块和高效回滚生成模块。每个模块都针对特定的挑战进行了优化。

关键创新：Pelican-Sim 1.0的主要创新在于其稀疏混合专家架构和高效的回滚生成机制，这使得模型在处理异构动态时具有更高的灵活性和效率，显著减少了模态间的冲突。

关键设计：模型采用28维的动作值空间，结合URDF和相机渲染的动作视频，提升了可控性。通过因果适应和少步蒸馏技术，实现了四步自回归模拟器，速度提升达到5.67倍。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Pelican-Sim 1.0在多个基准测试中表现优异：在AgiBotWorld Beta上，PSNR比最强基线提高了4.636；在RoboMIND上提高了2.080；在RoboTwin上提高了10.343。此外，政策成功率从70%提升至93%，相关性达到0.994，显示出显著的性能提升。

🎯 应用场景

Pelican-Sim 1.0在机器人控制、自动驾驶、虚拟现实等领域具有广泛的应用潜力。其高效的未来观察预测能力可以为复杂任务的决策提供支持，推动具身智能的进一步发展。未来，随着技术的不断优化，Pelican-Sim 1.0有望在更多实际场景中发挥重要作用。

📄 摘要（原文）

In this technical report, we propose Pelican-Sim 1.0, a general world model simulator for embodied intelligence that predicts future observations from visual context and robot actions to support downstream learning and decision making. The model incorporates four key design features: (1) Unified action representation: a 28-dimensional action value space covering most mainstream embodiments, keeping one model valid across heterogeneous devices. (2) Action-visual injection: URDF- and camera-rendered action videos bridge actions and pixels, giving markedly better controllability across embodiments, scenes, and tasks (PSNR +0.904 over alternative fusion baselines). (3) Sparse mixture-of-experts (MoE): sparse MoE layers add capacity for heterogeneous dynamics and absorb the action modality while reducing inter-modality conflict (FVD -6.530 vs. the dense backbone). (4) Efficient rollout generation: causal adaptation and few-step distillation yield a four-step autoregressive simulator, achieving a 5.67-fold speedup over the 35-step model. Benefiting from these designs, we train on approximately one million real-world and simulated trajectories and obtain large gains in action controllability and video quality: PSNR improves over the strongest evaluated baselines by 4.636 on AgiBotWorld Beta, 2.080 on RoboMIND, and 10.343 on RoboTwin, with the adapted EWMBench DYN score up 0.426 on RoboTwin. Relying on this, four downstream applications on RoboTwin succeed: 500 generated trajectories added to 50 demonstrations per task raise policy success from 70% to 93%; policy evaluation reaches a Pearson correlation of 0.994 across five checkpoints; and relative success gains reach 47.7% for action selection and 20.3% for policy improvement. Qualitative generalization across trajectory, scene, object, embodiment, and viewpoint shifts highlights its potential as a general-purpose world model simulator.