Juno: Taming Predictive Latents for Vision-Language-Action Models

📄 arXiv: 2610.09940v1 📥 PDF

作者: Yuchen Zhu, Chenyi Xu, Yulin Zhang, Gang Xu, Wentao Zhu

分类: cs.RO, cs.CV

发布日期: 2026-10-07

备注: Project Page: https://juno-policy.github.io/

💡 一句话要点

提出Juno框架以解决VLA模型中的预测潜变量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 预测潜变量 动态模型 机器人控制 策略学习 多模态融合 适应性学习

📋 核心要点

  1. 现有的联合嵌入预测架构在视觉-语言-动作模型中存在潜变量的有效性不足，导致控制与学习的错配。
  2. Juno框架通过一个动作条件的JEPA，提供了控制对齐的表示骨干和动态模型，解决了潜变量的有效性问题。
  3. 在SimplerEnv上，Juno的平均成功率从60.9%提升至68.5%，并在真实机器人上保持70%-75%的成功率，显著优于基线。

📝 摘要（中文）

联合嵌入预测架构（JEPA）在表示空间中预测被遮蔽或未来的观察，为视觉-语言-动作（VLA）模型提供了自然的预测潜变量。然而，要使这些潜变量在预训练、策略学习和部署中有效，需要解决三个主要问题：与具体控制的错配、对动作学习的干扰以及在分布变化下教师模型的失调。本文提出了Juno，一个统一框架，围绕一个动作条件的JEPA构建，作为控制对齐的表示骨干、预测教师和可适应的动态模型。在预训练阶段，我们在与具体体匹配的轨迹上进行训练，并使用动态CLS损失将运动加权的补丁动态转移到紧凑的全局状态。在策略学习阶段，我们将当前帧的JEPA补丁融合到VLA感知中，并使用解耦推理分支提炼未来潜在状态以生成动作。在部署阶段，我们在所有观察到的转变上调整世界模型，包括失败的回滚，冻结调整后的教师，并使用LoRA适配器和可训练的动作头在验证执行上重新对齐策略，而无需专家修正或任务奖励。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型中预测潜变量的有效性问题，现有方法在具体控制、动作学习和分布变化下表现不佳。

核心思路：Juno框架通过一个动作条件的JEPA，作为控制对齐的表示骨干，提供了动态模型和预测教师，从而提升潜变量的有效性。

技术框架：Juno的整体架构包括三个主要阶段：预训练、策略学习和部署。在预训练阶段，使用与具体体匹配的轨迹进行训练；在策略学习阶段，融合当前帧的JEPA补丁；在部署阶段，调整世界模型以适应观察到的转变。

关键创新：Juno的核心创新在于其动态CLS损失和解耦推理分支设计，使得潜变量在不同阶段的有效性得以提升，区别于传统方法的单一处理方式。

关键设计：在预训练中，采用动态CLS损失将运动加权的补丁动态转移到全局状态；在策略学习中，使用解耦推理分支和独立的变换参数提炼未来潜在状态；在部署中，利用LoRA适配器和可训练的动作头进行策略对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SimplerEnv环境中，Juno的平均成功率从60.9%提升至68.5%，并通过测试时适应进一步提升至72.7%。在真实机器人实验中，Juno在背景、高度和物体变化下保持70%-75%的成功率，而基线策略在相同条件下成功率降至0%。

🎯 应用场景

Juno框架在机器人控制、自动化任务和多模态交互等领域具有广泛的应用潜力。其在动态环境下的适应能力和高效的策略学习方法，可以为智能机器人在复杂场景中的自主决策提供支持，推动智能系统的实际应用和发展。

📄 摘要（原文）

Joint-embedding predictive architectures (JEPAs) predict masked or future observations in representation space, offering a natural source of predictive latents for vision-language-action (VLA) models. Yet making these latents useful across pretraining, policy learning, and deployment requires addressing three failures: mismatch with embodiment-specific control, interference with action learning, and teacher miscalibration under distribution shifts. We introduce Juno, a unified framework built around one action-conditioned JEPA that serves as a control-aligned representation backbone, a predictive teacher, and an adaptable dynamics model. During pretraining, we train it on embodiment-matched trajectories and use a dynamic CLS loss to transfer motion-weighted patch dynamics to a compact global state. During policy learning, we fuse current-frame JEPA patches into VLA perception and use a decoupled reasoning branch with separate transformation parameters to distill future latent states for action generation. During deployment, we adapt the world model on all observed transitions, including failed rollouts, freeze the adapted teacher, and re-align the policy on verified executions using LoRA adapters and a trainable action head, without expert corrections or task rewards. On SimplerEnv, Juno raises average success from $60.9\%$ to $68.5\%$ over Qwen3GR00T, the strongest baseline, and test-time adaptation further reaches $72.7\%$; on a real robot, it retains $70\%$--$75\%$ success under background, height, and object shifts where the base policy collapses to $0\%$.