LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

📄 arXiv: 2610.13732v1 📥 PDF

作者: Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li, Wenbo Ding, Xiang Deng

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-10-09

备注: Accepted at CoRL 2026; 24 pages including appendix

💡 一句话要点

提出LAPT-Scale以解决机器人政策扩展问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在动作预训练 机器人政策 第一人称视频 视觉转变 多模态对齐

📋 核心要点

  1. 现有方法在收集具身交互数据时成本高昂，限制了机器人政策的扩展。
  2. LAPT-Scale通过学习人类视频中的连续潜在动作，提供人类衍生的监督，进而训练机器人政策。
  3. 在23.3K小时的训练数据上，LAPT-Scale-LAM显著提升了机器人在真实环境中的成功率。

📝 摘要（中文）

随着机器人政策扩展的需求增加，收集具身交互数据的高成本限制了这一进程。大规模的第一人称人类视频提供了丰富的替代数据，但缺乏机器人动作标签，现有的动作注释方法在复杂的视觉环境和多样的操作动态下往往存在噪声。本文提出了LAPT-Scale，一种可扩展的潜在动作预训练范式，包含两个主要组件：LAPT-Scale-LAM通过解释人类视频中的帧间视觉转变来学习连续潜在动作，并将其作为人类衍生的监督，而LAPT-Scale-Policy通过人类视频潜在动作预训练、目标机器人具身对齐和任务特定后训练来训练VLA政策。与之前的向量量化LAM不同，LAPT-Scale-LAM使用连续潜在空间以保留细粒度的运动和交互动态。经过23.3K小时的第一人称视频训练，LAPT-Scale-LAM为政策预训练提供了隐式动作监督，成功率从63.3%提升至85.0%。

🔬 方法详解

问题定义：本文旨在解决机器人政策扩展中因高成本收集具身交互数据而导致的限制。现有的动作注释方法在复杂的视觉环境下往往存在噪声，影响了政策的训练效果。

核心思路：LAPT-Scale通过引入潜在动作预训练，利用大规模人类视频中的视觉转变来学习连续潜在动作，进而为机器人政策提供有效的监督。这样的设计使得机器人能够在缺乏直接动作标签的情况下，仍能学习到有效的操作策略。

技术框架：LAPT-Scale的整体架构包括两个主要模块：LAPT-Scale-LAM和LAPT-Scale-Policy。前者负责学习潜在动作，后者则通过潜在动作预训练和后续的任务特定训练来优化机器人政策。

关键创新：LAPT-Scale-LAM的最大创新在于使用连续潜在空间，而非传统的向量量化方法，从而保留了更细粒度的运动和交互动态。这一设计使得模型能够更好地理解复杂的动作转变。

关键设计：在训练过程中，结合了感知、语义和光流对齐信号，以提升转变级别的监督效果，超越了简单的像素重建损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LAPT-Scale-LAM在使用1K小时和5K小时的人类视频数据时，机器人成功率从63.3%提升至85.0%。这一显著提升表明该方法在政策预训练中的有效性，且学习到的政策能够在未见过的视觉条件下进行良好的泛化。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等。通过有效利用人类视频数据，LAPT-Scale能够帮助机器人在多样化的环境中学习和适应，提高其自主操作能力，未来可能在家庭、工业和医疗等多个领域产生深远影响。

📄 摘要（原文）

Scaling generalist robotic policies is limited by the high cost of collecting embodied interaction data. Large-scale egocentric human videos offer a rich alternative, but they lack robot action labels, and existing action annotation methods are often noisy under real-world visual complexity and diverse manipulation dynamics. We introduce LAPT-Scale, a scalable latent action pre-training paradigm with two components: LAPT-Scale-LAM learns continuous latent actions by explaining frame-to-frame visual transitions in human videos and uses them as human-derived supervision, while LAPT-Scale-Policy trains a VLA policy through human-video latent-action pre-training, target-robot embodiment alignment, and task-specific post-training. Unlike prior vector-quantized LAMs, LAPT-Scale-LAM uses a continuous latent space to preserve fine-grained motion and interaction dynamics. We further combine perceptual, semantic, and optical-flow alignment signals to improve transition-level supervision beyond pixel reconstruction. Trained on 23.3K hours of egocentric video, LAPT-Scale-LAM provides implicit action supervision for policy pre-training, yielding consistent scaling gains and improving real-robot success from 63.3% to 85.0% as annotated human video scales from 1K to 5K hours. The learned policy also generalizes to unseen visual conditions.