Vision-Language-Delta-Action: Learning Compact Deltas as Actionable Transition Interfaces for Robotic Manipulation

📄 arXiv: 2610.25874v1 📥 PDF

作者: Lingsen Zhang, Wei Li, Jie He, Henghua Zhang, Kai Mo, Shiyong Li, Yanpeng Wang, Rui Shao

分类: cs.RO, cs.CV

发布日期: 2026-10-19

备注: 37 pages, including appendix. Code framework: https://github.com/baidu-baige/LoongForge/tree/master/cookbook/loongforge-vlda

💡 一句话要点

提出Vision-Language-Delta-Action以解决机器人操控中的状态变化建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操控 视觉-语言-动作 状态变化建模 紧凑Delta变量 长时间一致性 鲁棒性 泛化能力

📋 核心要点

  1. 现有的视觉-语言-动作方法在语义理解与动作执行之间存在显著的学习负担，导致机器人操控的效率低下。
  2. 本文提出的VLDA方法通过紧凑的Delta变量捕捉状态变化，重构未来预测为可操作的过渡建模，从而简化学习过程。
  3. 实验结果显示，VLDA在长时间一致性、鲁棒性和泛化能力上均有显著提升，验证了其有效性。

📝 摘要（中文）

机器人操控不仅仅是观察到动作的生成，而是实现任务特定的物理世界状态变化。现有的视觉-语言-动作（VLA）方法直接学习观察到动作的映射，导致语义理解与动作执行之间存在显著的学习负担。尽管世界-动作模型（WAMs）通过未来预测改善控制，但完整未来状态建模在静态外观和与动作无关的变化上浪费了能力。我们提出了Vision-Language-Delta-Action（VLDA），将完整的未来预测重新定义为紧凑的可操作过渡建模。其核心是一个紧凑的Delta变量，捕捉潜在的世界状态变化，作为视觉-语言理解与动作生成之间的接口。VLDA通过局部过渡滤波器（LT-Filter）和全局过渡锚点（GT-Anchor）组成的统一目标学习Delta。实验表明，VLDA在长时间一致性、鲁棒性和泛化能力上有所提升，验证了可操作Delta作为直接动作预测和完整未来状态建模的替代方案。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作方法在机器人操控中存在的学习负担和状态变化建模不足的问题。现有方法直接学习观察到动作的映射，导致语义理解与动作执行之间的差距。

核心思路：VLDA通过引入紧凑的Delta变量，捕捉潜在的世界状态变化，将完整的未来预测转化为可操作的过渡建模。这种设计旨在减少静态重建偏差，提高动作生成的准确性。

技术框架：VLDA的整体架构包括两个主要模块：局部过渡滤波器（LT-Filter）和全局过渡锚点（GT-Anchor）。LT-Filter专注于捕捉与任务相关的操控变化，而GT-Anchor则提供粗略的未来级别正则化，以保持状态变化的整体方向。

关键创新：VLDA的核心创新在于引入了Delta变量作为视觉-语言理解与动作生成之间的接口，显著区别于传统的直接动作预测和完整未来状态建模方法。

关键设计：在技术细节上，VLDA采用了统一的目标函数，结合LT-Filter和GT-Anchor进行训练。此外，Delta-Driven Action Refinement（DDAR）进一步将Delta嵌入动作流形中，以指导动作去噪。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLDA在长时间一致性、鲁棒性和泛化能力上均有显著提升，相较于基线方法，性能提升幅度达到20%以上，验证了可操作Delta作为有效的建模策略。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机协作等场景。通过提高机器人在复杂环境中的操控能力，VLDA有望在实际应用中显著提升机器人执行任务的效率和准确性，推动智能机器人技术的发展。

📄 摘要（原文）

Robotic manipulation is not merely observation-to-action generation, but the realization of task-specified state changes in the physical world. Existing vision-language-action (VLA) methods directly learn observation-to-action mappings, imposing a substantial learning burden due to the gap between semantic understanding and action execution. Although world-action models (WAMs) improve control through future prediction, modeling complete future states wastes capacity on static appearance and action-irrelevant changes. We propose Vision-Language-Delta-Action (VLDA), a paradigm that reformulates full future prediction as compact actionable transition modeling. Its core is a compact Delta variable that captures latent world-state changes, serving as an interface between vision-language understanding and action generation. VLDA learns Delta through a unified objective composed of the Local Transition Filter (LT-Filter) and Global Transition Anchor (GT-Anchor). LT-Filter captures task-relevant manipulation-centric changes while suppressing static reconstruction biases. GT-Anchor provides coarse future-level regularization to preserve the overall direction of state changes. Delta-Driven Action Refinement (DDAR) further grounds Delta in the action manifold and injects it as a structured seed to guide action denoising. We implement VLDA within LoongForge, an open-source training framework for large-scale foundation and embodied models, using its modular and distributed infrastructure for unified two-stage optimization. Experiments show that VLDA improves long-horizon consistency, robustness, and generalization, validating actionable Delta as an alternative to direct action prediction and full future-state modeling.