LAMP: Latent Motion Prior-Guided Real-World Learning for Dexterous Hand Manipulation

📄 arXiv: 2607.06323v1 📥 PDF

作者: Xinye Yang, Zhiyuan Ma, Hongze Yu, Yuanpei Chen, Yaodong Yang, Xiaojie Chai, Xinlei Chen, Chao Yu

分类: cs.RO

发布日期: 2026-07-07

备注: 17 pages, 11 figures

💡 一句话要点

提出LAMP框架以解决灵巧手操作中的学习效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧手操作 潜在运动先验 强化学习 模仿学习 机器人技术

📋 核心要点

  1. 现有方法在灵巧手操作中面临高维动作导致的模仿错误和强化学习探索效率低下的问题。
  2. 本文提出的LAMP框架通过潜在运动先验模块，将手部动作历史映射到紧凑的潜在空间，从而提高学习效率。
  3. 在四个真实机器人任务中，LAMP框架的成功率从56.25%提升至98.75%，显示出显著的性能提升。

📝 摘要（中文）

灵巧手的真实世界学习仍然存在脆弱性，因为高维手部动作放大了模仿错误，使得强化学习探索容易导致接触中断。本文提出了一种潜在运动先验模块（prior{}），将近期手部动作历史映射到紧凑的、历史条件的潜在先验，并将连续的潜在命令解码为可执行的高维手部目标。基于此先验，method{}构建了一个三阶段的真实世界灵巧学习框架，预训练prior{}，训练视觉运动策略，并通过在线残差强化学习改进策略。实验表明，method{}在四个真实机器人灵巧操作任务中表现优异，在线强化学习后成功率从56.25%提升至98.75%。

🔬 方法详解

问题定义：本文旨在解决灵巧手操作中的学习效率低下和模仿错误放大的问题。现有方法在高维手部动作空间中的探索容易导致接触中断，影响学习效果。

核心思路：论文提出的LAMP框架利用潜在运动先验模块，将手部动作历史映射到一个紧凑的潜在空间，从而减少高维动作的复杂性，提高学习的稳定性和效率。

技术框架：LAMP框架分为三个阶段：首先，从演示中预训练潜在运动先验模块；其次，训练一个视觉运动策略，预测原生手臂命令和潜在手部动作偏移；最后，在同一潜在手部动作空间中，通过在线残差强化学习来改进策略。

关键创新：LAMP的核心创新在于引入潜在运动先验模块，使得残差探索能够在接触一致的手部动作附近进行局部修正，而不是独立扰动每个手指关节。这种设计显著提高了学习的效率和稳定性。

关键设计：在设计中，潜在运动先验模块的结构和损失函数经过精心调整，以确保其能够有效地映射手部动作历史，并且在训练过程中保持高效的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个真实机器人灵巧操作任务中，LAMP框架的平均模仿学习成功率从56.25%提升至98.75%，在三个任务中实现100%的最终成功率，另一个任务的成功率为95%。这一显著提升展示了该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人手臂的灵巧操作、自动化装配、医疗手术辅助等。通过提高灵巧手的学习效率，LAMP框架能够在实际应用中实现更高的操作精度和灵活性，推动机器人技术的进步。

📄 摘要（原文）

Real-world learning for dexterous hands remains brittle because high-dimensional hand actions amplify imitation errors and make reinforcement-learning exploration prone to contact-breaking motion. While combining imitation learning (IL) with online reinforcement learning (RL) can reduce manual supervision, unconstrained exploration in raw hand-action spaces is sample-inefficient and risky for physical hardware. We introduce a latent motion prior module (\prior{}) that maps recent hand-action histories to a compact, history-conditioned latent prior and decodes continuous latent commands into executable high-dimensional hand targets. Built on this prior, \method{} is a three-stage real-world dexterous learning framework: it pretrains \prior{} from demonstrations, trains a visuomotor policy that predicts native arm commands and latent hand-action offsets, and improves the policy with online residual RL in the same latent hand-action space. This shared, decodable interface lets residual exploration make local corrections near demonstrated, contact-consistent hand motions rather than perturbing every finger joint independently. We evaluate \method{} on four real-robot dexterous manipulation tasks against raw, linear, and discrete hand-action interfaces. Starting from small task-specific demonstration sets, \method{} achieves a 56.25\% average IL success rate and raises it to 98.75\% after online RL, reaching 100\% final success on three tasks and 95\% on the remaining task.