What Should Robot Policies Learn to Predict? Rethinking Supervision Targets in Vision-Language-Action Learning

📄 arXiv: 2610.21915v1 📥 PDF

作者: Haitao Shen, Hanyu Liu, Yihan Lin, Huiping Liu, Junbo Cui, Daoheng Li, Yang Li, Jing Zhang, Wenxin Li, Yuan Yao

分类: cs.RO

发布日期: 2026-10-15

备注: 26 pages, 8 figures. Haitao Shen and Hanyu Liu contributed equally

💡 一句话要点

提出统一的VLA框架以优化机器人政策的监督目标

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 机器人政策 多模态学习 监督目标 潜在行动预测 未来视觉预测 样本级路由器 深度学习

📋 核心要点

  1. 现有的VLA学习方法主要依赖于行动预测作为监督信号，导致辅助目标的训练资源竞争，影响学习效果。
  2. 本文提出了一种新的统一VLA框架，通过样本级路由器明确分配训练样本到行动预测或辅助目标，从而优化监督目标的设计。
  3. 实验结果显示，在LIBERO、CALVIN等任务中，适当的LA和FV监督在相同预算下优于传统的行动预测训练，尤其FV表现更佳。

📝 摘要（中文）

本文探讨了在视觉-语言-行动（VLA）学习中，机器人政策的监督目标应如何设计。传统上，行动预测是主要的监督信号，但辅助目标如潜在行动（LA）和未来视觉（FV）预测常常与行动预测竞争训练资源。我们提出了一种统一的VLA框架，结合了双流多模态扩散变换器（MMDiT）和样本级路由器，明确分配训练样本到不同的监督目标。实验结果表明，在相同的训练预算下，适当的LA和FV监督能够超越仅依赖行动预测的训练，尤其是FV通常优于LA。我们认为，机器人政策学习的预测目标及其训练分配应作为明确的设计选择，而非默认的行动主导训练。

🔬 方法详解

问题定义：本文旨在解决在视觉-语言-行动学习中，如何有效分配训练资源以优化机器人政策的学习效果。现有方法过于依赖行动预测，导致辅助目标的训练效果不佳。

核心思路：我们提出了一种新的框架，通过样本级路由器明确分配训练样本到行动预测或辅助目标，旨在提升政策学习的整体效果。这样的设计使得不同目标的训练可以并行进行，避免资源竞争。

技术框架：整体架构包括双流多模态扩散变换器（MMDiT）和样本级路由器。MMDiT用于处理多模态输入，而路由器则根据每个样本的特征决定其训练目标。

关键创新：最重要的创新在于样本级路由器的引入，使得监督目标的分配变得明确，允许在相同预算下进行更灵活的训练分配。这与传统的单一目标训练方法形成鲜明对比。

关键设计：我们在框架中实例化了三种基于LAPA的LA目标和三种基于DINOv3等的FV目标，采用特定的损失函数和网络结构来优化每个目标的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在LIBERO和CALVIN等任务中，采用适当的LA和FV监督的模型在相同训练预算下超越了仅依赖行动预测的模型，FV的表现普遍优于LA，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能家居和自动驾驶等场景。在这些领域中，机器人需要在复杂环境中做出决策，优化学习目标的设计将提升其自主性和适应能力，推动智能机器人技术的进步。

📄 摘要（原文）

Vision-language-action (VLA) policies are typically trained with action prediction as the primary supervision signal, since robots ultimately execute actions. Auxiliary objectives such as latent-action (LA) and future-vision (FV) prediction are often added to improve policy learning, yet they compete with action prediction for the same training budget. We ask whether, under a fixed budget, allocating a substantial share of training samples to such objectives, rather than to further action prediction, can improve policy learning. We build a unified VLA framework that couples a two-stream multimodal diffusion transformer (MMDiT) with a sample-level router, which assigns each training sample to either action prediction or an auxiliary objective and thus makes supervision allocation explicit. Within this framework, we instantiate three LA targets based on LAPA and its DINO-feature variants, and three FV targets based on DINOv3, V-JEPA 2, and Wan2.2 representations. Across LIBERO, CALVIN, and four real-robot tasks, suitable LA and FV supervision outperforms action-only training under the same budget, even when action prediction receives no more than half of the training samples. FV generally outperforms LA, although the strongest LA target remains competitive on CALVIN. Diagnostic analyses suggest that DINO-based LA targets emphasize relative motion, whereas FV targets emphasize absolute position and task identity. We therefore argue that what robot policies learn to predict, and how training is allocated among these targets, should be treated as explicit design choices rather than defaulting to action-dominant training.