Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models

📄 arXiv: 2605.06388v1 📥 PDF

作者: Nilaksh, Saurav Jha, Artem Zholus, Sarath Chandar

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-05-07

备注: 9 pages

💡 一句话要点

针对机器人世界模型的潜在空间选择，提出语义对齐的表征优于重建。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人世界模型 潜在空间学习 语义表征 扩散模型 策略学习

📋 核心要点

  1. 现有基于世界模型的机器人控制方法依赖于动作条件视频扩散模型，但缺乏对潜在空间选择的系统性研究。
  2. 该论文提出评估重建和语义编码器生成的潜在空间，并从视觉保真度、规划和策略性能以及表征质量三个方面进行评估。
  3. 实验结果表明，语义编码器（如V-JEPA 2.1）在规划和策略性能上优于重建编码器，为机器人世界模型提供了更强的基础。

📝 摘要（中文）

基于世界模型的策略评估是测试真实机器人控制的一种实用方法，它通过在动作条件视频扩散模型中展开候选动作来实现。随着这些模型越来越多地采用潜在扩散建模（LDM），选择合适的潜在空间变得至关重要。虽然现状是使用主要为像素重建而训练的自编码潜在空间（如VAEs），但最近的研究表明，具有表征对齐的语义潜在空间的预训练编码器具有优势。我们系统地评估了这些潜在空间用于动作条件LDM，通过比较六个重建和语义编码器，在BridgeV2数据集上以固定的协议训练世界模型变体，并展示了在高维表征空间中（无论是否进行维度压缩）有效的世界模型训练。然后，我们提出了三个轴来评估机器人世界模型的性能：视觉保真度、规划和下游策略性能以及潜在表征质量。我们的结果表明，仅视觉保真度不足以选择世界模型。虽然像VAE和Cosmos这样的重建编码器在像素级别上取得了很高的分数，但像V-JEPA 2.1（在策略上总体最强）、Web-DINO和SigLIP 2这样的语义编码器通常在所有模型规模上在其他两个轴上表现出色。我们的研究提倡将语义潜在空间作为与策略相关的机器人扩散世界模型的更强基础。

🔬 方法详解

问题定义：论文旨在解决机器人世界模型中潜在空间选择的问题。现有方法主要依赖于为像素重建而训练的自编码器（如VAEs），但这些方法可能无法捕捉到对策略学习至关重要的语义信息。因此，如何选择一个既能保证视觉保真度，又能提供高质量语义表征的潜在空间，是本研究要解决的关键问题。

核心思路：论文的核心思路是系统地比较不同类型的潜在空间（重建型和语义型）在机器人世界模型中的表现。通过在相同的实验条件下训练和评估基于不同潜在空间的世界模型，来确定哪种类型的潜在空间更适合于机器人策略学习。论文强调，仅仅依靠视觉保真度是不够的，还需要考虑潜在空间的规划能力和下游策略性能。

技术框架：整体框架包括以下几个主要步骤：1) 选择不同的编码器（包括重建型和语义型）来生成潜在空间；2) 使用这些潜在空间训练动作条件视频扩散模型，构建世界模型；3) 在BridgeV2数据集上，以固定的协议进行训练和评估；4) 从视觉保真度、规划和下游策略性能以及潜在表征质量三个方面评估世界模型的性能。

关键创新：论文的关键创新在于对潜在空间选择的系统性评估。以往的研究往往侧重于改进扩散模型本身，而忽略了潜在空间对世界模型性能的影响。该论文通过对比不同类型的潜在空间，揭示了语义潜在空间在机器人策略学习中的优势。此外，论文还提出了三个评估机器人世界模型性能的轴：视觉保真度、规划和下游策略性能以及潜在表征质量。

关键设计：论文的关键设计包括：1) 选择了六种不同的编码器，包括VAE、Cosmos（重建型）以及V-JEPA 2.1、Web-DINO、SigLIP 2（语义型）；2) 使用动作条件视频扩散模型作为世界模型的核心；3) 在BridgeV2数据集上进行实验，该数据集包含真实的机器人交互数据；4) 使用多种指标来评估世界模型的性能，包括像素级别的重建误差、规划成功率以及下游策略的奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然VAE和Cosmos等重建编码器在视觉保真度方面表现出色，但V-JEPA 2.1、Web-DINO和SigLIP 2等语义编码器在规划和下游策略性能方面更胜一筹。特别是V-JEPA 2.1，在下游策略性能上表现最佳，表明语义潜在空间是机器人扩散世界模型的更强基础。该研究强调了在选择潜在空间时，不能仅关注视觉保真度，而应综合考虑多个因素。

🎯 应用场景

该研究成果可应用于机器人自主导航、操作和强化学习等领域。通过选择合适的语义潜在空间，可以提高机器人对环境的理解能力，从而提升其规划和决策能力。这对于开发更智能、更可靠的机器人系统具有重要意义，例如在复杂环境中执行任务的工业机器人、服务机器人等。

📄 摘要（原文）

World model-based policy evaluation is a practical proxy for testing real-world robot control by rolling out candidate actions in action-conditioned video diffusion models. As these models increasingly adopt latent diffusion modeling (LDM), choosing the right latent space becomes critical. While the status quo uses autoencoding latent spaces like VAEs that are primarily trained for pixel reconstruction, recent work suggests benefits from pretrained encoders with representation-aligned semantic latent spaces. We systematically evaluate these latent spaces for action-conditioned LDM by comparing six reconstruction and semantic encoders to train world model variants under a fixed protocol on BridgeV2 dataset, and show effective world model training in high-dimensional representation spaces with and without dimension compression. We then propose three axes to assess robotic world model performance: visual fidelity, planning and downstream policy performance, and latent representation quality. Our results show visual fidelity alone is insufficient for world model selection. While reconstruction encoders like VAE and Cosmos achieve strong pixel-level scores, semantic encoders such as V-JEPA 2.1 (strongest overall on policy), Web-DINO, and SigLIP 2 generally excel across the other two axes at all model scales. Our study advocates semantic latent space as stronger foundation for policy-relevant robotics diffusion world models.