LoLA: Long Horizon Latent Action Learning for General Robot Manipulation

📄 arXiv: 2512.20166v1 📥 PDF

作者: Xiaofan Wang, Xingyu Gao, Jianlong Fu, Zuolei Li, Dean Fortier, Galen Mullins, Andrey Kolobov, Baining Guo

分类: cs.RO

发布日期: 2025-12-23

💡 一句话要点

LoLA：用于通用机器人操作的长程隐空间动作学习框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 长程推理 视觉语言动作 隐空间学习 具身智能

📋 核心要点

  1. 现有视觉-语言-动作模型在长程、语言引导的机器人操作任务中，对历史信息利用和连贯动作生成能力不足。
  2. LoLA框架通过整合长期多视角观测和机器人自身状态，利用状态感知隐空间重表示模块，实现多步骤推理和动作生成。
  3. 实验表明，LoLA在仿真和真实机器人任务中，显著优于现有方法，尤其在长程操作任务上表现突出。

📝 摘要（中文）

本文提出LoLA（Long Horizon Latent Action Learning），一个为机器人操作设计的框架，它整合了长期的多视角观测和机器人自身状态信息，以实现多步骤的推理和动作生成。LoLA首先利用视觉-语言模型从历史序列和多视角观测中编码丰富的上下文特征。进一步引入了一个关键模块，即状态感知隐空间重表示，将视觉输入和语言指令转换到可执行的机器人运动空间。与现有仅将机器人自身状态（如关节角度）与视觉-语言嵌入连接的方法不同，该模块利用这些机器人状态，通过一个可学习的“具身锚定”隐空间，将视觉-语言表示显式地锚定到物理尺度上。LoLA在多样化的机器人预训练数据集上进行了训练，并在仿真基准测试（SIMPLER和LIBERO）以及Franka和Bi-Manual Aloha机器人上的两个真实世界任务中进行了广泛的评估。结果表明，LoLA显著优于先前的最先进方法（例如pi0），尤其是在长程操作任务中。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在处理需要长期记忆和连贯动作序列的长程机器人操作任务时存在局限性。它们通常忽略了历史信息的重要性，并且难以生成符合物理规律的动作序列。现有方法简单地将机器人自身状态与视觉-语言嵌入连接，缺乏对物理尺度的显式建模。

核心思路：LoLA的核心思路是将视觉输入、语言指令和机器人自身状态信息融合到一个“具身锚定”的隐空间中。通过学习一个状态感知的隐空间重表示，将视觉-语言信息与机器人状态显式地关联起来，从而使模型能够更好地理解物理环境，并生成符合物理规律的动作序列。这种方法能够更好地利用历史信息，并进行多步骤推理。

技术框架：LoLA框架主要包含以下几个模块：1) 视觉-语言编码器：用于从历史序列和多视角观测中提取视觉和语言特征。2) 状态感知隐空间重表示模块：这是LoLA的核心模块，它将视觉-语言特征和机器人自身状态信息映射到一个共享的隐空间中。该模块通过一个可学习的“具身锚定”机制，将视觉-语言表示显式地锚定到物理尺度上。3) 动作生成器：用于根据隐空间中的表示生成机器人动作序列。整个框架通过端到端的方式进行训练。

关键创新：LoLA的关键创新在于状态感知隐空间重表示模块。与现有方法简单地连接视觉-语言嵌入和机器人状态不同，LoLA通过学习一个“具身锚定”的隐空间，将视觉-语言信息与机器人状态显式地关联起来。这种方法能够更好地利用机器人自身状态信息，并生成符合物理规律的动作序列。

关键设计：状态感知隐空间重表示模块的设计是关键。该模块使用一个可学习的神经网络，将视觉-语言特征和机器人自身状态信息映射到一个共享的隐空间中。损失函数的设计也至关重要，需要确保隐空间中的表示能够准确地反映物理环境和机器人状态。具体的网络结构和参数设置在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LoLA在SIMPLER和LIBERO仿真基准测试以及Franka和Bi-Manual Aloha机器人上的真实世界任务中进行了评估。结果表明，LoLA显著优于先前的最先进方法（例如pi0），尤其是在长程操作任务中。具体的性能提升数据在论文中进行了详细展示（未知）。这些结果验证了LoLA框架的有效性和优越性。

🎯 应用场景

LoLA框架具有广泛的应用前景，可应用于各种需要长程推理和连贯动作生成的机器人操作任务，例如：家庭服务机器人、工业自动化、医疗机器人等。通过结合视觉、语言和机器人自身状态信息，LoLA能够使机器人更好地理解环境，并执行复杂的任务。该研究的成果有助于推动通用机器人操作技术的发展。

📄 摘要（原文）

The capability of performing long-horizon, language-guided robotic manipulation tasks critically relies on leveraging historical information and generating coherent action sequences. However, such capabilities are often overlooked by existing Vision-Language-Action (VLA) models. To solve this challenge, we propose LoLA (Long Horizon Latent Action Learning), a framework designed for robot manipulation that integrates long-term multi-view observations and robot proprioception to enable multi-step reasoning and action generation. We first employ Vision-Language Models to encode rich contextual features from historical sequences and multi-view observations. We further introduces a key module, State-Aware Latent Re-representation, which transforms visual inputs and language commands into actionable robot motion space. Unlike existing VLA approaches that merely concatenate robot proprioception (e.g., joint angles) with VL embeddings, this module leverages such robot states to explicitly ground VL representations in physical scale through a learnable "embodiment-anchored" latent space. We trained LoLA on diverse robotic pre-training datasets and conducted extensive evaluations on simulation benchmarks (SIMPLER and LIBERO), as well as two real-world tasks on Franka and Bi-Manual Aloha robots. Results show that LoLA significantly outperforms prior state-of-the-art methods (e.g., pi0), particularly in long-horizon manipulation tasks.