WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos

📄 arXiv: 2607.11397v1 📥 PDF

作者: Jiahao Liu, Zhongpu Xia, Shuai Tian, Huangrui Li, Yuhang Zheng, Ning Ma, Xin Fu, Xiaotian Liu, Jing Li, Yixian Li, ShangQing Zhou, Zebin Xing, Linbo Wang, Chaoyue Li, Haoran Li, Dongbin Zhao

分类: cs.RO

发布日期: 2026-07-13

备注: Project page: https://liujiahao2077.github.io/WALA.github.io

💡 一句话要点

提出WALA框架以从无标签视频中学习可执行潜在动作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可执行潜在动作 无标签视频 机器人策略 语义-几何模型 动态预测 多模态学习 数据收集成本 真实世界操作

📋 核心要点

  1. 现有方法依赖于标注动作的演示，收集成本高且难以扩展，限制了机器人策略的通用性。
  2. WALA框架通过结合标注和无标注视频，学习可执行的潜在动作，利用预训练的语义-几何模型来减少对外观的敏感性。
  3. 实验结果显示，WALA在RoboTwin上表现出色，并在RoboCasa上创下75.2%的成功率，显著提升了策略性能和泛化能力。

📝 摘要（中文）

通用机器人策略通常依赖于标注动作的演示，这种数据收集成本高且难以扩展。相比之下，大规模的人类和机器人视频包含丰富的物理交互，但往往缺乏可执行的机器人动作标签。本文提出WALA框架，从标注动作的演示和无动作视频中学习可执行的潜在动作。WALA首先通过建模当前观察与稀疏采样未来观察之间的演变，预训练一个语义-几何潜在动作模型。WALA在DINOv3特征空间和稠密深度空间中预测未来增量，保留任务相关的语义和几何结构，同时降低对外观细节的敏感性。实验表明，WALA在RoboTwin上表现优异，在RoboCasa上达到75.2%的平均成功率，提升了真实世界操作任务中的策略性能和泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有机器人策略依赖于昂贵的标注动作演示的问题，缺乏可扩展性和通用性。现有方法在处理无标签视频时，无法有效提取可执行的动作信息。

核心思路：WALA框架通过结合标注和无标注视频，学习可执行的潜在动作。其核心在于预训练一个语义-几何潜在动作模型，利用视频中的物理交互信息，减少对外观细节的依赖。

技术框架：WALA的整体架构包括三个主要模块：预训练的编码器、可训练的解码器和视觉-语言骨干网络。编码器从视频中提取潜在动作目标，解码器作为潜在世界模型进行训练。

关键创新：WALA的主要创新在于通过预测未来增量而非重建原始像素，保持任务相关的语义和几何结构。这种方法与传统的动作学习方法相比，显著提高了对外观变化的鲁棒性。

关键设计：WALA采用DINOv3特征空间和稠密深度空间进行未来增量预测，损失函数设计包括机器人动作预测、潜在动作目标匹配和未来动态预测，确保了模型的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WALA在RoboTwin上表现优异，并在RoboCasa上创下75.2%的平均成功率，超越了现有的最先进结果，显著提升了策略性能和泛化能力，展示了其在真实世界操作任务中的有效性。

🎯 应用场景

WALA框架具有广泛的应用潜力，特别是在机器人操作、自动化制造和人机交互等领域。通过从无标签视频中学习可执行动作，WALA能够降低数据收集成本，提高机器人在复杂环境中的适应能力，推动智能机器人技术的进步。

📄 摘要（原文）

Generalizable robot policies typically rely on action-labeled robot demonstrations, which are expensive to collect and difficult to scale. In contrast, large-scale human and robot videos contain rich physical interactions but often lack executable robot action labels. We present WALA, a framework for learning executable latent actions from both action-labeled demonstrations and action-free videos. WALA first pretrains a semantic-geometric latent action model from videos by modeling the evolution between current observations and sparsely sampled future observations. Instead of reconstructing raw pixels, WALA predicts future deltas in the DINOv3 feature space and dense depth space, preserving task-relevant semantic and geometric structure while reducing sensitivity to appearance details. During policy training, the pretrained encoder provides stable latent action targets, and the decoder serves as a trainable latent world model. The latent actions generated by the vision-language backbone are jointly supervised by robot action prediction, latent action target matching, and future dynamics prediction. This enables action-labeled demonstrations to provide executable control supervision, while action-free videos contribute dynamics supervision without requiring robot action annotations. Experiments show that WALA achieves strong performance on RoboTwin, sets a new state-of-the-art result on RoboCasa with 75.2% average success, and improves both policy performance and generalization in real-world manipulation tasks.