ALPS: Visual State Encoders for World Models

📄 arXiv: 2610.30120v1 📥 PDF

作者: Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie

分类: cs.CV

发布日期: 2026-10-21

备注: 35 pages (15 main + 20 supplementary), 13 figures, 26 tables. Project page: https://ucsc-vlaa.github.io/ALPS/ Code: https://github.com/UCSC-VLAA/ALPS

💡 一句话要点

提出ALPS以统一视觉状态编码解决世界模型的多重任务问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉状态编码 世界模型 多模态学习 自蒸馏 语言对齐 像素重建 深度学习 机器人控制

📋 核心要点

  1. 现有的视觉编码器通常只专注于物理状态、语言对齐或像素重建中的一到两个能力，无法全面支持世界模型的多重任务需求。
  2. 论文提出了ALPS，一个预训练的视觉状态编码器，能够将物理状态信息、语言对齐和像素重建三者统一在一个补丁令牌集合中。
  3. ALPS在多个公共编码器的评估中表现优异，尤其在LIBERO任务中实现了最低的状态探测误差，并在下游任务中展现出高效的策略成功率。

📝 摘要（中文）

世界模型将视觉表示转化为预测和动作。我们认为其视觉基础应结合物理状态信息、原生语言对齐和像素重建，以支持预测、指令和检查。然而，现有编码器通常只专注于其中一到两个能力。因此，我们提出了ALPS，一个预训练的视觉状态编码器，将这三者统一在一组补丁令牌中。我们仅使用静态图像和文本，从头开始预训练ViT-B/16，并通过语言、重建和空间对应目标进行优化，随后通过跨视图自蒸馏进行精炼。在对十五个公共编码器的统一评估中，ALPS在ViT-B模型中实现了最低的LIBERO状态探测误差，同时保持强大的语言对齐和准确的像素重建。在下游任务中，冻结的ALPS令牌在与我们的原生文本塔配对时，在LIBERO上达到了最高的平均策略成功率（85.5%），并在PushT、Wall和Granular的世界模型规划中匹配或超过领先编码器，允许预测的未来令牌直接解码为像素以进行视觉检查。我们希望这项工作有助于确立视觉预训练作为理解、预测和行动在世界模型中的共享基础。

🔬 方法详解

问题定义：本论文旨在解决现有视觉编码器在支持世界模型多重任务时的不足，特别是它们通常只专注于单一或双重能力，导致无法有效结合物理状态、语言和像素信息。

核心思路：论文提出的ALPS编码器通过将物理状态信息、语言对齐和像素重建整合在一个统一的补丁令牌中，旨在实现多任务的支持。这样的设计使得同一表示可以用于预测、指令和检查，提升了模型的通用性和效率。

技术框架：ALPS的整体架构包括三个主要模块：首先是从静态图像和文本中进行的预训练，其次是通过语言、重建和空间对应目标进行的优化，最后是通过跨视图自蒸馏进行的精炼。

关键创新：ALPS的核心创新在于其能够在一个统一的编码器中实现物理状态、语言和像素重建的结合，这与现有方法的单一专注能力形成鲜明对比。

关键设计：在技术细节方面，ALPS使用ViT-B/16架构进行预训练，采用特定的损失函数来优化语言对齐和像素重建，同时通过自蒸馏技术进一步提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ALPS在与十五个公共编码器的比较中，达到了最低的LIBERO状态探测误差，并在下游任务中实现了85.5%的平均策略成功率，显示出其在视觉状态编码方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等需要综合视觉理解和决策的场景。通过统一的视觉状态编码，ALPS能够为多模态任务提供更强的支持，推动智能系统的进一步发展。

📄 摘要（原文）

World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction, and spatial correspondence objectives, and then refine it via cross-view self-distillation. In a unified evaluation across fifteen public encoders, ALPS achieves the lowest aggregate LIBERO state-probe error among ViT-B models (matching the 3.5x larger V-JEPA 2-L) while maintaining strong language alignment and accurate pixel reconstruction. Downstream, frozen ALPS tokens reach the highest mean policy success on LIBERO (85.5%) when paired with our native text tower, match or exceed leading encoders on world-model planning across PushT, Wall, and Granular, and allow predicted future tokens to be decoded directly into pixels for visual inspection. We hope this work helps establish visual pretraining as a shared foundation for understanding, prediction, and action in world models.