LaLa-World: Scaling Latent World Models with Natural Language Actions

📄 arXiv: 2610.27851v1 📥 PDF

作者: Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, Byeongho Heo, Dongyoon Han, Sangdoo Yun

分类: cs.CV, cs.LG

发布日期: 2026-10-20

备注: Project page: https://june-page.github.io/lala-world/; Code: https://github.com/junha1125/LaLa-World

💡 一句话要点

提出LaLa-World以提升多领域规划与策略优化

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在世界模型 语言条件学习 多模态融合 机器人规划 策略优化

📋 核心要点

  1. 现有的潜在世界模型在处理多样化数据源时存在性能瓶颈，难以有效进行跨领域学习。
  2. 论文提出的LaLa-World通过语言条件接口实现了对多种数据源的联合学习，提升了规划与策略优化能力。
  3. 实验结果显示，LaLa-World在规划性能上显著优于传统模型，且训练和推理效率大幅提升。

📝 摘要（中文）

本文展示了JEPA风格的潜在世界模型（LWM）如何通过采用语言条件接口，跨越多样化领域和数据源进行学习。我们提出LaLa-World，一个语言条件的潜在世界模型，结合了仿真和机器人轨迹以及更广泛的图像和视频数据。该模型通过描述数值动作和视觉变化的语言，支持在异构数据集上联合训练单一未来预测器。此外，基于语言模型构建的预测器能够在预测未来潜在状态时解释语言条件。实验结果表明，LaLa-World在平均MPC规划性能上优于现有的分别为每个领域或任务训练的LWM，并且在与RAEv2基线的比较中，训练成本降低了6倍，规划速度提高了13.9倍。

🔬 方法详解

问题定义：本文旨在解决现有潜在世界模型在多领域学习中的性能不足，尤其是在处理异构数据集时的效率和效果问题。现有方法通常需要为每个领域单独训练，导致资源浪费和性能瓶颈。

核心思路：LaLa-World通过语言条件接口，将数值动作和视觉变化描述为语言，从而实现跨领域的联合训练。该设计使得模型能够在多样化的数据源上进行有效学习，并提升未来状态的预测能力。

技术框架：LaLa-World的整体架构包括一个语言模型作为基础，结合了仿真数据和机器人轨迹，形成一个统一的未来预测器。模型通过语言条件的输入，生成未来潜在状态的预测。

关键创新：最重要的创新在于将语言条件与潜在世界模型结合，使得模型能够在不同数据源上进行联合训练，从而提高了学习效率和规划性能。这一方法与传统的单领域训练方式本质上不同。

关键设计：在模型设计中，采用了特定的损失函数以优化语言条件的理解，同时在网络结构上，结合了图像和视频数据，增强了模型的鲁棒性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaLa-World在平均MPC规划性能上超过了现有的潜在世界模型，训练成本降低了6倍，规划速度提高了13.9倍。此外，LaLa-Policy在多个基准测试中表现出色，推理速度提升达5.5倍。

🎯 应用场景

LaLa-World的研究成果在机器人控制、自动驾驶、智能家居等领域具有广泛的应用潜力。通过高效的规划与策略优化，该模型能够提升智能系统的决策能力和响应速度，推动智能技术的进一步发展。

📄 摘要（原文）

This paper shows that JEPA-style latent world models (LWMs) can learn across diverse domains and data sources by adopting the language-conditioned interface of video generation models. We establish this approach as an effective and efficient basis for planning with imagination and downstream policy fine-tuning. To this end, we introduce LaLa-World, a Language-conditioned Latent World model that learns from simulation and robot trajectories together with broader image and video data. Two designs make this work. First, we describe both numerical actions and visual changes in language, enabling joint training of a single future predictor across heterogeneous datasets. Second, we build the predictor on a language model, allowing it to interpret language conditions while predicting future latent states. The resulting predictor achieves higher average MPC planning performance than existing LWMs trained separately for each domain or task. Adding image and video data further improves average planning performance and robustness to action phrasing. In a matched comparison with an RAEv2-based video generation model baseline, LaLa-World reaches comparable planning performance with $6\times$ less training cost and $13.9\times$ faster planning. Beyond planning, the pretrained LaLa-World serves as an initialization for LaLa-Policy, which jointly predicts actions and future visual representations. LaLa-Policy performs competitively with Cosmos Policy on LIBERO and RoboCasa, with up to $5.5\times$ faster inference.