ViDAL: A Visual Dynamics-Grounded Action Latent Space for Vision-Language-Action Models

📄 arXiv: 2610.08150v1 📥 PDF

作者: Yuan Xu, Yixiang Chen, Qisen Ma, Jiabing Yang, Peiyan Li, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

分类: cs.RO

发布日期: 2026-10-06

💡 一句话要点

提出ViDAL以解决视觉动态与动作表示不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉动态 动作潜空间 变分自编码器 机器人策略 多模态学习 动作表示 自主导航 任务执行

📋 核心要点

  1. 现有的动作表示方法主要关注动作轨迹，未能充分考虑由这些动作引发的视觉动态，导致模型在复杂场景中的表现受限。
  2. 本文提出ViDAL，通过训练动作变分自编码器（Action VAE），将连续动作潜变量与未来视觉动态对齐，从而增强动作表示的有效性。
  3. 实验证明，ViDAL在多个基准测试中超越了竞争对手，显著提升了机器人策略的成功率，展示了其在实际应用中的潜力。

📝 摘要（中文）

视觉-语言-动作（VLA）模型已成为机器人策略学习的核心范式，能够以原始动作块、离散动作标记或连续动作潜变量的形式预测动作。然而，现有的动作表示主要集中于动作轨迹，缺乏对这些动作所引发的视觉动态的考虑。为此，本文提出了ViDAL，一个基于视觉动态的动作潜空间，通过训练动作变分自编码器（Action VAE）来重构动作块，并将其潜变量与未来场景动态对齐。ViDAL在下游机器人策略中作为兼容多种VLA架构的插件动作接口，并支持未来视频预测的附加能力。实验证明，ViDAL在LIBERO上取得了98.1%的平均成功率，并在RoboTwin 2.0的多任务策略上成功率从54.3%提升至65.5%（Clean），从33.2%提升至43.1%（Random），在真实世界的单臂Franka和双臂ARX机器人平台上分别实现了20.0%和23.4%的绝对成功率提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在动作表示中对视觉动态考虑不足的问题，导致模型在复杂环境中的表现不佳。

核心思路：ViDAL通过训练动作变分自编码器（Action VAE），将动作潜变量与未来场景的视觉动态对齐，从而提升动作表示的准确性和有效性。

技术框架：整体架构包括动作变分自编码器的训练阶段和下游机器人策略的集成阶段。训练阶段专注于重构动作块并对齐潜变量，集成阶段则将其作为插件接口应用于不同的VLA架构。

关键创新：ViDAL的主要创新在于将动作潜变量与未来视觉动态相结合，这一设计使得模型能够更好地理解和预测复杂场景中的动作效果，与传统方法相比具有显著优势。

关键设计：在设计中，Action VAE的损失函数包括重构损失和动态对齐损失，网络结构采用了深度神经网络以提高学习能力，参数设置经过多次实验优化，以确保模型的稳定性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ViDAL在LIBERO数据集上实现了98.1%的平均成功率，显著优于竞争基线。同时，在RoboTwin 2.0的多任务策略中，成功率从54.3%提升至65.5%（Clean），从33.2%提升至43.1%（Random），在真实世界的单臂Franka和双臂ARX机器人平台上分别实现了20.0%和23.4%的绝对成功率提升，展示了其卓越的性能。

🎯 应用场景

ViDAL的研究成果在机器人领域具有广泛的应用潜力，尤其是在复杂环境中的自主导航、任务执行和人机交互等场景。通过更准确的动作表示，机器人能够更有效地理解和适应动态环境，提高其操作的灵活性和安全性。未来，ViDAL有望推动智能机器人在实际应用中的普及与发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become a central paradigm for robot policy learning, which predict actions in three forms: raw action chunks, discrete action tokens, or continuous action latents. However, existing action representations primarily model action trajectories, with limited consideration of the visual dynamics induced by these actions. We introduce ViDAL, a Visual Dynamics-grounded Action Latent Space that anchors continuous action latents in the future visual dynamics of the scene. Specifically, ViDAL learns action latent space by training an Action Variational Autoencoder (Action VAE) to reconstruct action chunks while aligning its latent with future scene dynamics. When integrated into downstream robot policies, the proposed Action VAE serves as a plug-in action interface compatible with multiple VLA architectures and enables optional future-video prediction as an additional capability. Empirically, ViDAL outperforms competitive baselines on LIBERO with 98.1% average success, improves a multi-task $π_{0.5}$ policy on RoboTwin 2.0 from 54.3% to 65.5% (Clean) and from 33.2% to 43.1% (Random) success rates over 50 dual-arm tasks, and yields 20.0% and 23.4% absolute success-rate gains on real-world single-arm Franka and dual-arm ARX robot platforms.