VLA-$Δ$: Learning Physical State Transition for Vision-Language-Action Models

📄 arXiv: 2610.21306v1 📥 PDF

作者: Qi Lu, Jiarun Li, Ce Zhang, Miao Pan, Yi Pan, Xu Wang, Wenqi Zhang, Xuhong Zhang

分类: cs.CV

发布日期: 2026-10-15

备注: 24 pages, 8 figures, 9 tables, including appendices. Code: https://github.com/ZJU-OmniAI/VLA-Delta

🔗 代码/项目: GITHUB

💡 一句话要点

提出VLA-$Δ$以解决视觉-语言-动作模型的状态转移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 物理状态转移 机器人控制 深度学习 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在动作生成中缺乏对物理状态变化的明确监督，导致过拟合问题。
  2. VLA-$Δ$框架通过将物理状态转移作为学习目标，提供了更直接的监督，从而改善动作生成的准确性。
  3. 在LIBERO和RoboTwin基准测试中，VLA-$Δ$的性能与最先进技术相当，并在真实机器人实验中表现优越。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通过视觉-语言预训练将语义知识转移到机器人控制中，在多个基准测试中表现出色。然而，大多数VLA模型直接将观察映射到示范动作，而没有明确监督中间物理状态的变化，导致它们容易过拟合观察-动作对应关系。为此，本文提出VLA-$Δ$框架，利用当前和未来状态之间的物理变化作为明确的学习目标。我们构建了一个大规模的预训练数据集，并推导出涵盖任务相关语义和视觉运动变化的物理状态转移注释，为连续动作生成提供了更直接的监督。在推理过程中，模型直接从当前观察生成动作，无需额外的推理开销。VLA-$Δ$在LIBERO和RoboTwin上实现了与最先进技术相当的性能，并在真实机器人实验中超越了$π_{0.5}$。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在动作生成中缺乏对物理状态变化的明确监督的问题。现有方法往往直接将观察映射到动作，容易导致过拟合观察-动作的对应关系。

核心思路：VLA-$Δ$框架的核心思路是利用当前和未来状态之间的物理变化作为明确的学习目标，从而为动作生成提供更直接的监督。这种设计旨在提高模型对物理状态转移的理解和预测能力。

技术框架：VLA-$Δ$的整体架构包括数据集构建、物理状态转移注释生成、模型训练和推理阶段。首先，构建大规模的预训练数据集，并为其生成物理状态转移的注释。然后，模型在训练过程中学习这些注释，以优化动作生成。推理时，模型能够直接从当前观察生成动作。

关键创新：VLA-$Δ$的最重要技术创新在于将物理状态转移作为明确的学习目标，与现有方法相比，这种方法提供了更直接的监督，显著改善了模型的性能。

关键设计：在模型设计中，采用了特定的损失函数来优化物理状态转移的预测，并在网络结构中引入了适应性模块，以更好地处理不同任务的语义和视觉变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLA-$Δ$在LIBERO和RoboTwin基准测试中表现出色，达到了与最先进技术相当的性能。在真实机器人实验中，VLA-$Δ$超越了$π_{0.5}$，展示了其在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化系统和人机交互等。通过改善视觉-语言-动作模型的性能，VLA-$Δ$可以在复杂环境中实现更精确的动作生成，提升机器人在实际应用中的智能水平和适应能力。

📄 摘要（原文）

Vision-language-action (VLA) models transfer semantic knowledge acquired through vision-language pretraining to robot control, achieving strong performance across various benchmarks. However, most VLAs directly map observations to demonstrated actions without explicit supervision of intermediate physical state changes, making them prone to overfitting observation-action correspondences. Some methods introduce intermediate reasoning or future-state prediction in language, visual, or latent spaces to guide action generation, but do not explicitly supervise the physical state transition itself. We therefore propose VLA-$Δ$, a general framework that uses physical changes between current and future states as explicit learning targets. To support this objective, we construct a large-scale pretraining dataset and derive physical state-transition annotations covering task-relevant semantics and visual motion changes, providing more direct supervision for continuous action generation. During inference, the model generates actions directly from current observations without additional inference overhead. VLA-$Δ$ achieves performance competitive with the state of the art on LIBERO and RoboTwin, and outperforms $π_{0.5}$ in real-robot experiments. Our code is available at https://github.com/ZJU-OmniAI/VLA-Delta