One from Infinity: Actualizing Futures from Pretrained World Models into Robot Actions

📄 arXiv: 2609.36413v1 📥 PDF

作者: Bang Du, Yichen Xie, Shuqi Zhao, Yuxin Chen, Menglin Wu, Masayoshi Tomizuka

分类: cs.RO

发布日期: 2026-09-29

💡 一句话要点

提出RoboActualizer以解决机器人动作执行中的任务条件选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 机器人控制 任务条件选择 轻量级模型 实时决策

📋 核心要点

  1. 现有方法依赖于对重型世界模型的微调，导致高昂的计算和数据需求，限制了其在实际应用中的可行性。
  2. 本文提出的RoboActualizer通过在冻结的世界模型上进行任务条件选择和实现，显著降低了模型参数数量和训练成本。
  3. RoboActualizer在多个仿真基准上表现优异，参数量比现有方法少100倍，且具有39毫秒的低延迟，适合实时控制任务。

📝 摘要（中文）

预训练的视频世界模型能够为场景提供多种可能的未来，但机器人必须实现特定任务条件下的未来。现有方法通过大规模机器人数据和计算资源对重型世界模型进行微调，成本高昂。本文提出了一种新的方法，称为实际化，旨在从冻结的世界模型中选择并实现任务条件下的未来。我们实现了RoboActualizer，一个仅需60M参数的轻量级模型，能够在单个GPU上训练，并在多个仿真基准上表现出色，具有39毫秒的低延迟，适用于实时控制。

🔬 方法详解

问题定义：本文解决的问题是如何从预训练的视频世界模型中选择并实现特定任务条件下的未来，而现有方法需要对重型模型进行微调，成本高且效率低。

核心思路：论文的核心思路是通过引入一个轻量级的实际化模型，在冻结的世界模型基础上进行任务条件的选择和动作的实现，从而避免重训练整个模型的高成本。

技术框架：RoboActualizer的整体架构包括一个冻结的世界模型编码器和一个小型的实际化模型。实际化模型由两个轻量级的DiT专家组成，负责通过流匹配共同预测未来潜在状态和动作。

关键创新：最重要的技术创新在于通过冻结的世界模型进行任务条件选择，避免了对重型模型的微调，显著降低了训练参数和计算资源的需求。

关键设计：RoboActualizer的设计包括60M的参数设置，采用流匹配技术进行未来潜在状态和动作的预测，且能够在单个GPU上进行训练，内存峰值仅为32GB。该模型在多个基准测试中表现出色，具有39毫秒的低延迟。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoboActualizer在多个仿真基准上表现出色，参数量比现有的世界模型和视觉-动作模型少100倍，且在实时控制任务中实现了39毫秒的低延迟，显著提升了执行效率和响应速度。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等，能够为这些领域提供高效、实时的决策支持。通过降低模型复杂性和训练成本，RoboActualizer有望推动机器人技术的普及和应用，提升智能系统的自主性和灵活性。

📄 摘要（原文）

A pretrained video world model admits many plausible futures for a scene, but a robot must realize the exact task-conditioned one. To turn world models into executable robot policies, existing methods fine-tune the heavy world model backbone using large-scale robot data and computational resources. Challenging this status quo, we argue that the expensive part has already been paid in the world model pretraining since the representation space of a video world model lays out the diverse potential futures. In this case, what remains is to select the future that accomplishes the task and to read out the actions that realize it. We formalize this task as actualization, which learns a task-conditioned selection and realization on top of a prior supplied by a frozen world model. This can be solved by a tiny actualizer model. We implement RoboActualizer with as few as 60M parameters on top of a frozen world model encoder. The actualizer is composed of two lightweight DiT experts that jointly predict future latents and actions by flow matching. The model can be trained entirely on a single GPU with 32 GB peak memory. With up to 100x fewer trainable parameters than existing WAMs and VLAs, RoboActualizer reaches great performance on simulation benchmarks including LIBERO, LIBERO-Plus, RoboTwin 2.0 and five tasks on two real-world platforms, with a low latency of 39 ms that allows real-time control.