LARA: Latent Action Representation Alignment for Vision-Language-Action Models

📄 arXiv: 2606.07100v1 📥 PDF

作者: Mengya Liu, Baoxiong Jia, Jiangyong Huang, Jingze Zhang, Siyuan Huang

分类: cs.CV, cs.RO

发布日期: 2026-06-05

💡 一句话要点

提出LARA框架以解决VLA模型训练中的数据不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 潜在动作模型 联合优化 机器人学习 数据增强

📋 核心要点

  1. 现有的视觉语言动作模型在训练时依赖于大量高质量的数据，而真实世界的机器人动作数据集稀缺，限制了模型的性能。
  2. 本文提出的LARA框架通过潜在动作表示对齐，联合优化潜在动作模型和视觉语言动作模型，从而提升模型的学习效果。
  3. 实验结果表明，LARA在多个基准测试中显著提升了模型性能，分别实现了约10%、5%和15%的提升，展示了其有效性。

📝 摘要（中文）

视觉语言动作（VLA）模型使机器人能够直接从观察和语言指令中预测动作，但其性能依赖于大规模高质量数据，且受限于真实世界机器人动作数据集的稀缺。为促进VLA模型学习，潜在动作模型（LAM）从视觉动态中学习潜在动作表示，以提供额外的监督。然而，LAM和VLA通常是分开训练的，导致LAM在VLA训练中缺乏基础，而VLA模型又受到固定LAM表示的限制。为了解决这些问题，本文提出了潜在动作表示对齐（LARA），一个可插拔的框架，通过表示对齐共同优化LAM和VLA，从而实现互惠互利。我们展示了LARA在预训练、预训练VLA模型的后期增强和LAM精炼方面的多样性和有效性，在三个仿真和一个精心设计的真实世界机器人操作基准上分别实现了约10%、5%和15%的提升。

🔬 方法详解

问题定义：本文旨在解决视觉语言动作模型（VLA）训练中由于缺乏高质量数据而导致的性能瓶颈。现有的潜在动作模型（LAM）与VLA模型通常是分开训练的，导致信息无法有效共享。

核心思路：LARA框架通过潜在动作表示对齐，促进LAM和VLA的联合优化，使得LAM能够利用动作轨迹进行学习，同时VLA模型受到LAM中学习到的前向动态的正则化，从而减少无效轨迹的幻觉。

技术框架：LARA框架包括两个主要模块：潜在动作模型（LAM）和视觉语言动作模型（VLA）。在训练过程中，LAM通过视觉动态学习潜在动作表示，而VLA则通过语言指令进行动作预测，两个模块通过表示对齐进行联合优化。

关键创新：LARA的主要创新在于通过表示对齐实现LAM和VLA的互补学习，克服了传统方法中分开训练导致的信息孤岛问题，从而提升了模型的整体性能。

关键设计：在LARA中，设计了特定的损失函数以促进LAM和VLA之间的对齐，同时采用了动态学习率和数据增强策略，以提高模型的鲁棒性和泛化能力。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LARA框架在三个仿真和一个真实世界机器人操作基准上，分别实现了约10%、5%和15%的性能提升，显著优于传统的训练方法，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等场景。通过提升机器人对语言指令的理解和执行能力，LARA框架能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual-language action (VLA) models enable robots to predict actions directly from observations and language instructions, but their performance depends on large-scale, high-quality data and is limited by the scarcity of real-world robot action datasets. To facilitate VLA model learning with abundant unlabeled human videos, Latent Action Models (LAM) learn latent action representations from visual dynamics to provide additional supervision for VLA learning. However, LAM and VLA are typically trained separately, leaving LAM ungrounded during VLA training and VLA models constrained by frozen LAM representations. To address these issues, we propose Latent Action Representation Alignment (LARA), a plug-and-play framework that jointly optimizes LAM and VLA via representation alignment. This enables reciprocal benefits where LAMs learn with action trajectories to avoid spurious visual changes, while VLAs are regularized by forward dynamics learned within LAMs to reduce hallucinations of functionally ineffective trajectories. We demonstrate LARA versatility and effectiveness for pre-training, post-training enhancement of pre-trained VLA models, and LAM refinement, achieving an average of ~10%, ~5%, and ~15% improvement over 3 simulation and 1 meticulously designed real-world robotic manipulation benchmarks.